机器学习笔记2

# 1. 线性回归损失函数推导

$$ y=\theta^Tx+\epsilon $$  
------------------------------------
y表示真实结果，x表示真实数据，$\epsilon$表示误差，$\theta$表示参数  

根据中心直线定理误差$\epsilon$满足独立同分布，服从均值为0，方差为某定值$\sigma^2$的高斯分布  
相关推到如下  

$p(\epsilon^{(i)})=\frac{1}{\sqrt{2\pi}}exp(-\frac{(\epsilon^{(i)})^2}{2\sigma^2})$  
$ p(y^{(i)}|x^{(i)};\theta)=\frac{1}{\sqrt{2\pi\sigma}}exp(-\frac{(y^{(i)}-\theta^Tx^{(i)})^2}{2\sigma^2})$ 

$L(\theta) = \displaystyle\prod_{i=1}^m p(y^{(i)}|x^{(i)};\theta)$  
 $\qquad  = \displaystyle\prod_{i=1}^m \frac{1}{\sqrt{2\pi\sigma}}exp(-\frac{(y^{(i)}-\theta^Tx^{(i)})^2}{2\sigma^2})$  
 
$l(\theta) = logL(\theta) $   
$ \qquad = log \displaystyle\prod_{i=1}^m \frac{1}{\sqrt{2\pi\sigma}}exp(-\frac{(y^{(i)}-\theta^Tx^{(i)})^2}{2\sigma^2})$  
$ \qquad = \displaystyle\sum_{i=1}^{m}log \frac{1}{\sqrt{2\pi\sigma}}exp(-\frac{(y^{(i)}-\theta^Tx^{(i)})^2}{2\sigma^2})$  
$\qquad  = m log\frac{1}{\sqrt{2\pi}\sigma} - \frac{1}{\sigma^2}.\frac{1}{2} \displaystyle\sum_{i-i}^{m}(y^{(i)}-\theta^Tx^{(i)})^2$