线性回归、Softmax和多层感知机数学 #d2l#

线性回归

$$\hat{\mathbf{y}}=\mathbf{X}\mathbf{w}+b$$
其中$\hat{y}$为最终预测值，$X$为特征值，$w$为权重，$b$为偏差,也即:
$$\hat{y}=\left[\begin{array}{c}{\hat{y}}^{(1)}\\ {\hat{y}}^{(2)}\\ {\hat{y}}^{(3)}\end{array}\right],\mathbf{X}=\left[\begin{array}{cc}{x}_1^{(1)}& x_2^{(1)}\\ x_1^{(2)}& x_2^{(2)}\\ x_1^{(3)}& x_2^{(3)}\end{array}\right],\mathbf{w}=\left[\begin{array}{c}{w}_1\\ w_2\end{array}\right]$$
使用平方损失函数，($y$为真实值)
$$\ell (\mathbf{\theta })=\frac{1}{2n}(\hat{y}-y{)}^T(\hat{y}-y)$$
迭代公式为：
$${\mathbf{\theta }}^{\prime }=\mathbf{\theta }-\frac{\eta }{\mathcal{B}}\sum _{i\in \mathcal{B}}{\nabla }_{\theta }{\ell }^{(i)}(\mathbf{\theta })$$
其中$\mathcal{B}$为每个小批量，$\eta$为学习率。

Softmax

通过Softmax将输出值转化为$0$~$1$的值：
$$\widehat{y_i}=\frac{e^{(o_1)}}{{\sum }_{i=1}^n{e}^{o_i}}$$
交叉熵损失：
$$H({\mathbf{y}}^{(i)},{\hat{\mathbf{y}}}^{(i)})=-\sum _{j=1}^n{y}_j^{(i)}\log {\hat{y}}^{(i)}$$
而只有预测正确的$y_j$为$1$，其它皆为$0$，所以实际上为$-\log {\hat{y}}^{(i)}$。

多层感知机

在输入层与输出层之间可以插入许多所谓隐藏层，为避免多隐藏层叠加无效，引入激活函数：Sigmoid，ReLU，tanh，以及ReLU的变体等等。
$$\begin{gathered} Relu(x)=max(x,0) \\ sigmoid(x)=\frac{1}{1+e^x} \\ tanh(x)=\frac{1-e^{-2x}}{1+e^{-2x}} \end{gathered}$$
而它们的导数为：
$$\begin{gathered} Rel{u}^{\prime }(x)=\{\begin{array}{ll}1& x>0\\ 0& x\le 0\end{array} \\ sigmoi{d}^{\prime }(x)=sigmoid(x)(1-sigmoid(x)) \\ tan{h}^{\prime }(x)=1-tan{h}^2(x) \end{gathered}$$