线性回归损失函数推导-最大似然

把统计看了一遍就是为了这里!
线性回归假设函数为
$y=\theta^TX$
之前是根据函数图像推导出损失函数为误差平方和，这次用统计学方法推导。
拟合数据，就是把误差减到最小
误差$\epsilon=y-\theta^TX$。
假设误差服从正态分布，误差最小也就是期望为0。$\epsilon$~N(0,$\sigma^2$)
最大似然估计就是使所有样本最接近参数,也就是似然函数最大。
求似然函数
$L(\theta)=\prod\limits_{i=1}^{m}p(\epsilon)=\prod\limits_{i=1}^{m}{1\over{\sqrt{2\pi}\sigma}}e^{-{{\epsilon^2}\over{2\sigma^2}}}$
$L(\theta)={1\over{\sqrt{2\pi}^m}}{1\over{\sigma}^m}e^{-{\sum\limits_{i=1}^{m}{\epsilon^2\over{2\sigma^2}}}}$
$L(\theta)={{\sqrt{2\pi}^{-m}}}{{\sigma}^{-m}}e^{-{\sum\limits_{i=1}^{m}{(y-\theta^TX)^2\over{2\sigma^2}}}}$
两边取ln
$\ln L(\theta)=-m\ln(\sqrt{2\pi})-mln(\sigma)-{1\over{2\sigma^2}}{\sum\limits_{i=1}^{m}{(y-\theta^TX)^2}}$
要使似然函数最大，${\sum\limits_{i=1}^{m}{(y-\theta^TX)^2}}$就要最小。也就是误差平法和最小。