通俗的理解线性回归，softmax回归，损失函数

线性回归

引例：预测房屋的价格，影响价格的因素有很多，比如面积、地段、房龄等，设房屋面积x1，房龄x2，售出价格y，线性回归假设各个输出和输入的线性关系为
$$\begin{array}{c}\hat{y}=x_1{w}_1+x_2{w}_2+b\end{array}$$
w1和w2是权重，b是偏差,$\hat{y}$是对真实值的预测。

• 线性回归是一个单层神经网络。
  
• 线性回归的输出是一个连续值。

softmax回归

softmax回归本质上是一个分类问题，而线性回归是回归问题。softmax回归的输出数量等于类别数量，相当于属于某一类别的概率（后面说怎么来的），比如4个特征的3个输出的表达式为$$\begin{array}{l}{o}_1=x_1{w}_{11}+x_2{w}_{21}+x_3{w}_{31}+x_4{w}_{41}+b_1\\ o_2=x_1{w}_{12}+x_2{w}_{22}+x_3{w}_{32}+x_4{w}_{42}+b_2\\ o_3=x_1{w}_{13}+x_2{w}_{23}+x_3{w}_{33}+x_4{w}_{43}+b_3.\end{array}$$

• sofymax也是单层神经网络
  
  $o_i$可以表示属于某个类别的置信度，将输出最大值作为预测输出。比如如果$o_1$,$o_2$,$o_3$分别为0.1,10,0.1，那么预测类别为2.由于这些输出值的差异比较大，可以使用softmax运算符将输出值变换成值为正且和为的概率分布：
  $${\hat{y}}_1,{\hat{y}}_2,{\hat{y}}_3=\mathrm{softmax}\left(o_1,o_2,o_3\right)$$其中$${\hat{y}}_1=\frac{\exp \left(o_1\right)}{{\sum }_{i=1}^3\exp \left(o_i\right)},{\hat{y}}_2=\frac{\exp \left(o_2\right)}{{\sum }_{i=1}^3\exp \left(o_i\right)},{\hat{y}}_3=\frac{\exp \left(o_3\right)}{{\sum }_{i=1}^3\exp \left(o_i\right)}.$$
  如果${\hat{y}}_2$=0.8，表示预测为类别2的概率为80%。
  softmax的标准形式
  $$\begin{array}{l}{\mathbf{o}}^{(i)}={\mathbf{x}}^{(i)}\mathbf{W}+\mathbf{b}\\ {\hat{\mathbf{y}}}^{(i)}=\mathrm{softmax}\left({\mathbf{o}}^{(i)}\right)\end{array}$$
  对于上面特例中的权重和偏差为：$$\mathbf{W}=\left[\begin{array}{lll}{w}_{11}& w_{12}& w_{13}\\ w_{21}& w_{22}& w_{23}\\ w_{31}& w_{32}& w_{33}\\ w_{41}& w_{42}& w_{43}\end{array}\right],\mathbf{b}=\left[\begin{array}{lll}{b}_1& b_2& b_3\end{array}\right]$$
  特征为：$${\mathbf{x}}^{(i)}=\left[\begin{array}{llll}{x}_1^{(i)}& x_2^{(i)}& x_3^{(i)}& x_4^{(i)}\end{array}\right]$$

损失函数

通俗的理解：神经网络的标准和你心中的标准相差的定量的表达。

最小二乘法

$$\mathcal{L}(\hat{y}\cdot y)=\frac{1}{2}(\hat{y}-y{)}^2$$其中$\hat{y}$表示神经网络（nn）预测的输出，y表示真实的标签。

极大似然估计

通俗理解：计算nn里面概率模型的最大似然值。
ps：懒得打了，直接上图片吧，哈哈哈

交叉熵