向量微积分基础

本文首发在我的个人博客：https://jlice.top/p/7kemt/。欢迎大家前去参观，么么哒~

机器学习里经常需要用到向量微积分。向量微积分其实并不难，但大学数学一般不提，导致在看机器学习的一些推导时常常感觉疑惑。

机器学习里经常用到标量和向量、向量和向量的求导，其实只是把向量对应位置的元素进行求导。但是，这些元素的组织方式有两种，分别是分子布局和分母布局，二者并无本质上的差别，只是结果相差个转置。这两种布局都存在，初学者常常混淆。

例如求\(\frac {\partial \mathbf{y}} {\partial x}\)，其中\(\mathbf{y}\)是\(n\)维列向量，\(x\)是标量。这个求导就是把\(\mathbf{y}\)里每个元素分别对\(x\)求导，但求导后是得到列向量还是行向量呢？

对于分子布局：

\[ \frac {\partial \mathbf{y}} {\partial x} = \begin{bmatrix} \frac {\partial y_1} {\partial x} \\ \frac {\partial y_2} {\partial x} \\ \vdots \\ \frac {\partial y_n} {\partial x} \\ \end{bmatrix} \]

对于分母布局：

\[ \frac {\partial \mathbf{y}} {\partial x} = \begin{bmatrix} \frac {\partial y_1} {\partial x} & \frac {\partial y_2} {\partial x} & \dots &