线性回归和逻辑回归损失函数推导

线性回归和逻辑回归损失函数推导

@(数据挖掘)

---

一、线性回归最小二乘loss推导

我们都知道线性回归是机器学习中最简单，使用范围也很广的一个算法，经典且使用。而它的损失函数最小二乘损失，大家也很熟悉，但是为什么要用最小二乘loss呢？正文开始：
可以通过一系列假设，从概率的角度去说明为什么选最小二乘（按理说，我们有许多函数可以定义损失）。
我们这里的假设证明不是唯一的，还有许多方法可以证明，有兴趣的可以自行google。

1. 假设：
   $y^{(i)} = \theta^Tx^{(i)} + \varepsilon^{(i)}$
   $\varepsilon^{(i)} = error$
   这里的error也就是模型和实际数值之间的误差值
   根据中心极限定理(许多独立随机变量组合会符合高斯分布)，我们可以接着假设误差项符合高斯分布：
   $\varepsilon^{(i)} \sim N(0, \sigma^2)$
   即概率密度函数为
   $P(\varepsilon^{(i)}) = \frac{1}{\sqrt{2\pi}\sigma} exp(-\frac{(\varepsilon^{(i)})^2}{2\sigma^2})$
2. 上述误差函数的概率密度函数服从高斯分布，则我们易知：
   P(y(i)|x(i);θ)=12π√σexp(−(y(i)−θTx(i))22σ2) P ( y ( i ) | x ( i ) ; θ ) = 1 2 π σ e x p