# 1. 线性回归损失函数推导
$$ y=\theta^Tx+\epsilon $$
------------------------------------
y表示真实结果,x表示真实数据,$\epsilon$表示误差,$\theta$表示参数
根据中心直线定理误差$\epsilon$满足独立同分布,服从均值为0,方差为某定值$\sigma^2$的高斯分布
相关推到如下
$p(\epsilon^{(i)})=\frac{1}{\sqrt{2\pi}}exp(-\frac{(\epsilon^{(i)})^2}{2\sigma^2})$
$ p(y^{(i)}|x^{(i)};\theta)=\frac{1}{\sqrt{2\pi\sigma}}exp(-\frac{(y^{(i)}-\theta^Tx^{(i)})^2}{2\sigma^2})$
$L(\theta) = \displaystyle\prod_{i=1}^m p(y^{(i)}|x^{(i)};\theta)$
$\qquad = \displaystyle\prod_{i=1}^m \frac{1}{\sqrt{2\pi\sigma}}exp(-\frac{(y^{(i)}-\theta^Tx^{(i)})^2}{2\sigma^2})$
$l(\theta) = logL(\theta) $
$ \qquad = log \displaystyle\prod_{i=1}^m \frac{1}{\sqrt{2\pi\sigma}}exp(-\frac{(y^{(i)}-\theta^Tx^{(i)})^2}{2\sigma^2})$
$ \qquad = \displaystyle\sum_{i=1}^{m}log \frac{1}{\sqrt{2\pi\sigma}}exp(-\frac{(y^{(i)}-\theta^Tx^{(i)})^2}{2\sigma^2})$
$\qquad = m log\frac{1}{\sqrt{2\pi}\sigma} - \frac{1}{\sigma^2}.\frac{1}{2} \displaystyle\sum_{i-i}^{m}(y^{(i)}-\theta^Tx^{(i)})^2$