线性回归模型推导
线性拟合模型:
h θ ( x ) = θ 0 + θ 1 x 1 + θ 2 x 2 h θ ( x ) = ∑ i = 0 n θ i x i = θ T x ⋯ ① \begin{aligned}h_θ(x)&=θ_0+θ_1x_1+θ_2x_2 \\h_θ(x)&=\displaystyle \sum_{i=0}^nθ_ix_i=θ^Tx\cdots①\end{aligned} hθ(x)hθ(x)=θ0+θ1x1+θ2x2=i=0∑nθixi=θTx⋯①
误差,真实值和预测值之间存在的差异ε
对于每个样本:
y i = θ T x i + ε i ⋯ ② y_i=θ^Tx_i+ε_i\cdots② yi=θTxi+εi⋯②
假设:误差 ε i ε_i εi是独立并肯有相同的分布,并且服从均值为0方差为 θ 2 θ^2 θ2的高斯分布
预测值与误差由于服从高斯分布:
p ( ε i ) = 1 2 π σ e x p ( − ( ε i ) 2 2 σ 2 ) p(ε_i)=\frac{1}{\sqrt{2\pi}σ}exp(-\frac{(ε_i)^2}{2σ^2}) p(εi)=2πσ1exp(−2σ2(εi)2)
由①代入②式:
p ( y i ∣ x i ; θ ) = 1 2 π σ