最小二乘法推导
最小二乘法公式
J ( θ ) = 1 m ∑ i = 1 m ( y ( i ) − h θ ( x ( i ) ) ) 2 J(\theta) = \frac1m\sum_{i=1}^m(y^{(i)} - h_{\theta}(x^{(i)}))^2 J(θ)=m1i=1∑m(y(i)−hθ(x(i)))2
证明
1.假设
设数据中未被考虑进来的特征和人为无法控制的噪声为 ε \varepsilon ε。
即 y ( i ) = θ T x ( i ) + ε ( i ) y^{(i)} = \theta^{T}x^{(i)} + \varepsilon^{(i)} y(i)=θTx(i)+ε(i)
ε ∼ N ( 0 , σ 2 ) \varepsilon \sim \mathcal{N}(0,\sigma^2) ε∼N(0,σ2)
且 ε ( i ) i s I I D \varepsilon^{(i)} is IID ε(i)isIID (独立同分布)。
简单的说就是 ε ( i ) \varepsilon^{(i)} ε(i) 之间互不影响,前一个的变化,不影响后一个的变化。
可得 P ( y ( i ) ∣ x ( i ) ; θ ) ∼ N ( θ T x ( i ) , σ 2 ) P(y^{(i)} | x^{(i)};\theta) \sim \mathcal{N}(\theta^{T}x^{(i)},\sigma^2) P(y(i)∣x(i);θ)∼N(θTx(i),σ2)因为视这里的 θ T x ( i ) \theta^{T}x^{(i)} θ