模型训练-损失函数的来源-最大似然与梯度下降

模型的训练通常都需要一个目标，训练目标通常都用损失函数最小来表示。

我们看两种模型（线性回归+逻辑回归）的损失函数，并推导其来源。

一、线性拟合

在线性拟合中模型被定义为y = wx ，（+b与否无所谓，就相当于向量w中有一个为1而已）

我们使用了损失函数：

但是为啥采用这种损失函数呢？我们要用到最大似然估计的思想。

使用梯度下降法训练模型，

计算梯度：

二、逻辑回归

使用梯度下降法训练模型，

计算梯度：

logistic对w求梯度（中间用到）：

损失函数对w求梯度：