即求 min12∑mi=1(x(i)j−y(i))2=minJ m i n 1 2 ∑ i = 1 m ( x j ( i ) − y ( i ) ) 2 = m i n J ,
其中 x(i)j x j ( i ) 表示第 i i 个样本的第 维,有以下几种方法:
1. 梯度下降法(gradient descent)——batch
参数更新规则为 θk+1=θk−α∇θJ(θ)k θ k + 1 = θ k − α ∇ θ J ( θ ) k
因为
h(x)=∑i=0nθixi(x0=1) h ( x ) = ∑ i = 0 n θ i x i ( x 0 = 1 )
∇θJ(θ)=[∂J∂θ0...∂J∂θj...∂J∂θn]T ∇ θ J ( θ ) = [ ∂ J ∂ θ 0 . . . ∂ J ∂ θ j . . . ∂ J ∂ θ n ] T
所以,
∂J∂θj=12∑i=1m2⋅(∑kθ