线性回归公式推导总结

1.预测函数:

2.代价函数:

  • 假设每一个对象的预测值与真实值的误差为ε,即:


则由中心极限定理可知:

  • 当样本数量很多时,可假设误差ε的分布符合均值μ=0,方差为σ^2的高斯分布,即:

  • 现在的任务是在所有可能的θ中,寻找一个最适合的θ,使得误差ε呈高斯分布的可能性最大,则由似然函数有:

  • 对等式两边同时取对数求极大似然,即:

  • 综上,代价函数为:

三、梯度下降:

  • 先给出梯度下降的结论:

  • 如果能求出虚线框内的偏导数,则可以顺利完成梯度下降:

  • 综上,梯度下降的公式为:

  • 一般的,如果每更新一个参数,都要遍历一次全部数据的话,耗时太长,所有有了随机梯度下降,即每更新一个参数,只选用一个对象对应特征去更新(省时,但效果不如前者):

四、正规方程:

  • 使用梯度下降寻找最优参数比较耗时,所以当数据集的特征X符合:X的转置*X存在逆矩阵时,可采用正规方程迅速找出最优参数,即:

  • 下面给出两种推导方法:
  • 推导方法一:
  • 推导方法二(比较取巧):
已标记关键词 清除标记
相关推荐
©️2020 CSDN 皮肤主题: 大白 设计师:CSDN官方博客 返回首页