线性回归公式推导总结

1.预测函数：

2.代价函数：

• 假设每一个对象的预测值与真实值的误差为ε，即：

则由中心极限定理可知：

• 当样本数量很多时，可假设误差ε的分布符合均值μ=0，方差为σ^2的高斯分布，即：

• 现在的任务是在所有可能的θ中，寻找一个最适合的θ，使得误差ε呈高斯分布的可能性最大，则由似然函数有：
  

• 对等式两边同时取对数求极大似然，即：

• 综上，代价函数为：
  

三、梯度下降：

• 先给出梯度下降的结论：

• 如果能求出虚线框内的偏导数，则可以顺利完成梯度下降：

• 综上，梯度下降的公式为：

• 一般的，如果每更新一个参数，都要遍历一次全部数据的话，耗时太长，所有有了随机梯度下降，即每更新一个参数，只选用一个对象对应特征去更新（省时，但效果不如前者）：
  

四、正规方程：

• 使用梯度下降寻找最优参数比较耗时，所以当数据集的特征X符合：X的转置*X存在逆矩阵时，可采用正规方程迅速找出最优参数，即：

• 下面给出两种推导方法：
• 推导方法一：
  
• 推导方法二（比较取巧）：