机器学习:正规方程(Normal Equation)的推导

在coursera上看了Andrew Ng的《Machine Learning》课程,里面讲到了正规方程(Normal Equation),现在在此记录一下推导过程。
假设函数(Hypothesis Function)为:

hθ(x)=θ0+θ1x1+θ2x2++θnxn h θ ( x ) = θ 0 + θ 1 x 1 + θ 2 x 2 + ⋯ + θ n x n

此处我们可以令 x0=1 x 0 = 1 .
代价函数(Cost Function):
J(θ)=J(θ0,,θn)=12mi=1m(hθ(x(i))y(i))2 J ( θ ) = J ( θ 0 , … , θ n ) = 1 2 m ∑ i = 1 m ( h θ ( x ( i ) ) − y ( i ) ) 2

我们想要代价函数的最小解,对代价函数进行求导。因为对于向量我们有 zTz=iz2i z T z = ∑ i z i 2 ,所以:
J(θ)=12m(Xθy)T(Xθy) J ( θ ) = 1 2 m ( X θ − y ) T ( X θ − y )

因为 12m 1 2 m 部分对最终的解没影响,为了便于书写和计算,我们可以先将这部分舍去。对方程的转置进行化简:
J(θ)=(θTXTyT)(Xθy) J ( θ ) = ( θ T X T − y T ) ( X θ − y )

J(θ)=θTXTXθ(Xθ)TyyTXθ+yTy J ( θ ) = θ T X T X θ − ( X θ ) T y − y T X θ + y T y

因为 xθy x θ 和 y 都是矢量,所以这两者相乘先后顺序没有关系,所以可以化简成:
J(θ)=θTXTXθ2(Xθ)Ty+yTy J ( θ ) = θ T X T X θ − 2 ( X θ ) T y + y T y

接着方程 J(θ)θ J ( θ ) 对 θ 进行求导:
θJ(θ)=2XTXθ2XTy=0 ∂ ∂ θ J ( θ ) = 2 X T X θ − 2 X T y = 0
1
θJ(θ)=0θ ∂ ∂ θ J ( θ ) = 0 时 , 得 到 最 合 适 θ
XTXθ=XTy X T X θ = X T y

两边同时乘以 XTX X T X 的逆矩阵,得:
θ=(XTX)1XTy θ = ( X T X ) − 1 X T y

此即为正规方程。当 θ=(XTX)1XTy θ = ( X T X ) − 1 X T y 时,代价方程有最优解。


  1. 关于矩阵、向量、标量的一些求导https://blog.csdn.net/xidianliutingting/article/details/51673207
  • 6
    点赞
  • 3
    收藏
    觉得还不错? 一键收藏
  • 打赏
    打赏
  • 2
    评论
评论 2
添加红包

请填写红包祝福语或标题

红包个数最小为10个

红包金额最低5元

当前余额3.43前往充值 >
需支付:10.00
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包

打赏作者

烤粽子

你的鼓励将是我创作的最大动力

¥1 ¥2 ¥4 ¥6 ¥10 ¥20
扫码支付:¥1
获取中
扫码支付

您的余额不足,请更换扫码支付或充值

打赏作者

实付
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明:

1.余额是钱包充值的虚拟货币,按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载,可以购买VIP、付费专栏及课程。

余额充值