Gradient Descent Vectorization

• 我们假定$X$为数据集，其中每一行$x^{(i)}$为一个样本，列数代表其特征数量；
• $Y$为其真实值，每行$y^{(i)}$与每个输入样本对应；
• $\Theta$为每个特征的权重;
  $$X=\left[\begin{array}{cccc}{x}_0^{(0)}& x_1^{(0)}& \cdots & x_n^{(0)}\\ x_0^{(1)}& x_1^{(1)}& \cdots & x_n^{(1)}\\ ⋮& ⋮& \ddots & ⋮\\ x_0^{(m)}& x_0^{(m)}& \cdots & x_0^{(m)}\end{array}\right]=\left[\begin{array}{c}{x}^{(0)}\\ x^{(1)}\\ ⋮\\ x^{(m)}\end{array}\right]$$

$$Y=\left[\begin{array}{c}{y}^{(0)}\\ y^{(1)}\\ ⋮\\ y^{(m)}\end{array}\right]$$

$$\Theta =\left[\begin{array}{c}{\theta }_0\\ {\theta }_1\\ ⋮\\ {\theta }_n\end{array}\right]$$

如图所示为一个简单的神经网络，仅包含一个输入层和一个输出层，没有任何的隐藏层；对于其中的某一个样本$x^{(i)}$来说，其输出的预测值${\hat{y}}^{(i)}$为：
$${\hat{y}}^{(i)}={\theta }_0{x}_0^{(i)}+{\theta }_1{x}_1^{(i)}+...+{\theta }_n{x}_n^{(i)}=x^{(i)}\theta \text{\hspace{1em}(1)}$$
则所有样本的预测值$\hat{Y}$为：
$$\hat{Y}=\left[\begin{array}{c}{\hat{y}}^{(0)}\\ {\hat{y}}^{(1)}\\ ⋮\\ {\hat{y}}^{(m)}\end{array}\right]$$
我们以预测值与真实值的平方误差为损失函数$L$：
$$\begin{gathered} L=\frac{1}{m}\sum _{i=1}^m\frac{1}{2}({\hat{y}}^{(i)}-y^{(i)}{)}^2 \\ =\frac{1}{2m}\sum _{i=1}^m(x^{(i)}\theta -y^{(i)}{)}^2\text{\hspace{1em}(2)} \end{gathered}$$
假设我们现在要计算${\theta }_j$经梯度下降后的更新值，其中$\alpha$为学习率：
$${\theta }_j={\theta }_j-\alpha \frac{\partial L}{\partial {\theta }_j}\text{\hspace{1em}(3)}$$
我们对损失函数，即公式(2)求${\theta }_j$的微分：
$$\begin{gathered} \frac{\partial L}{\partial {\theta }_j}=\frac{1}{m}\sum _{i=1}^m(x^{(i)}\theta -y^{(i)})\frac{\partial (x^{(i)}\theta )}{\partial {\theta }_j} \\ =\frac{1}{m}\sum _{i=1}^m(x^{(i)}\theta -y^{(i)})x_j^{(i)}\text{\hspace{1em}(4)} \end{gathered}$$
我们记$e^{(i)}=x^{(i)}\theta -y^{(i)}$，用$E$表示所有的$e^{(i)}$有：
$$E=\left[\begin{array}{c}{e}^{(0)}\\ e^{(1)}\\ ⋮\\ e^{(m)}\end{array}\right]=\left[\begin{array}{c}{x}^{(0)}\theta -y^{(0)}\\ x^{(1)}\theta -y^{(1)}\\ ⋮\\ x^{(m)}\theta -y^{(m)}\end{array}\right]=X\Theta -Y$$

则公式(4)可表示为：
$$\begin{gathered} \frac{\partial L}{\partial {\theta }_j}=\frac{1}{m}\sum _{i=1}^m{e}^{(i)}{x}_j^{(i)} \\ =\frac{1}{m}(x_j^{(0)},x_j^{(1)},...,x_j^{(m)})E\text{\hspace{1em}(5)} \end{gathered}$$
将公式(5)代入公式(3)中可以得到：
$${\theta }_j={\theta }_j-\alpha \frac{1}{m}(x_j^{(0)},x_j^{(1)},...,x_j^{(m)})E\text{\hspace{1em}(6)}$$
因此，我们可以得到所有权重的梯度更新为：
$$\begin{gathered} \Theta =\left[\begin{array}{c}{\theta }_0\\ {\theta }_1\\ ⋮\\ {\theta }_n\end{array}\right]=\left[\begin{array}{c}{\theta }_0\\ {\theta }_1\\ ⋮\\ {\theta }_n\end{array}\right]-\frac{\alpha }{m}\left[\begin{array}{cccc}{x}_0^{(0)}& x_0^{(1)}& \cdots & x_0^{(m)}\\ x_1^{(0)}& x_1^{(1)}& \cdots & x_1^{(m)}\\ ⋮& ⋮& \ddots & ⋮\\ x_n^{(0)}& x_n^{(1)}& \cdots & x_n^{(m)}\end{array}\right]E \\ =\Theta -\frac{\alpha }{m}{X}^{T}E=\Theta -\frac{\alpha }{m}{X}^T(X\Theta -Y) \end{gathered}$$