【线性回归】【Softmax】 | 学习回顾

首先这次学习的机会是boyuai的一次公益AI学习活动，在此对平台的感谢，也希望疫情可以赶快结束，武汉加油，中国加油！

线性回归

首先线性回归是一个较为简单的模型，故损失函数及误差最小化问题的解可以直接用公式表达出来，这类解叫作解析解（analytical solution）。

1. 如何来构建「一元线性回归」问题的目标函数？

    其中的关键点在于如何衡量模型输出的预测值y_hat与数据真实的真实label值y的差距。

    西瓜书中默认使用了均方误差的距离估计指标，但是我们要知道这并不是唯一的选择。

   在构建好「一元线性回归」的目标函数后，我们就可以来尝试进行求解了。我们的目标是找到对应的w*和b*使得我们最小化损失函数的目标实现，而这里介绍了一种解析解的求法，也就是最小二乘法。

   而在多元的情况下，西瓜书中（3.10）与（3.11）之间的那个XTX的满秩假设或者正定假设通常是不成立的，因此实际上我们需要在这个地方加入正则化方法，这种方法在我们面对最优化问题的时候也非常常用。

 

Softmax与分类模型

实际上，我一直觉得Softmax与对数几率回归很像。都是使用sigmoid函数，而且softmax与线性回归一样，也是一个单层神经网络。