线性回归与梯度下降

线性回归

假设是年龄的参数，是工资的参数

拟合的平面：

整理：

真实值和预测值之间存在着差异（用来表示误差）

预测值与误差：

由于误差服从高斯分布：

似然函数：

(越大越好)

对数似然：

（越小越好）

目标函数：

求偏导等于0：

梯度下降

梯度下降目标函数：

批量随机下降：

容易得到最优解，但是由于每次都要考虑所有样本，速度很慢，可以选用小批量梯度下降。