ML--广义线性回归(线性回归、逻辑回归)

1.线性回归

1.1 线性模型(Linear Model)

给定数据集 D = { ( x 1 , y 1 ) , ( x 2 , y 2 ) , ( x 3 , y 3 ) , . . . , ( x m , y m ) } D=\left \{ \left (x_{1}\mathbf{},y_{1} \right ),\left ( x_{2},y_{2} \right ),\left (x_{3},y_{3} \right ),...,\left (x_{m},y_{m} \right ) \right \} D={ (x1​,y1​),(x2​,y2​),(x3​,y3​),...,(xm​,ym​)}，其中$x_i$有$d$个特征，表示为$x_i=\left(x_{i1};x_{i1};...;x_{id}\right)$,线性回归模型是通过$d$个特征的线性组合对$y$值进行拟合，即$f(x_i)=w^T{x}_i+b$,使得$f(x_i)\simeq y_i$

1.2 损失函数(Loss Function):Square Loss

• 定义：$L(f(x),y)=(f(x)-y{)}^2$

• 为什么使用square loss作为损失函数：

(1)记误差$\epsilon =y_i-\widehat{y_i}$,假设误差独立同分布，根据中心极限定理，$\epsilon \sim (\mu ,{\sigma }^2)$,得到$f(\epsilon )=\frac{1}{\sigma \sqrt{2\pi }}exp(-\frac{(\epsilon -\mu {)}^2}{2{\sigma }^2})$,求$\mu$和${\sigma }^2$的极大似然估计，
$L(\mu ,{\sigma }^2)={\prod }_{i=1}^m\frac{1}{\sigma \sqrt{2\pi }}exp(-\frac{(\epsilon -\mu {)}^2}{2{\sigma }^2})$,等式两边取对数，得到，
$logL(\mu ,{\sigma }^2)=-\frac{m}{2}log2\pi -\frac{m}{2}log{\sigma }^2-\frac{(\epsilon -\mu {)}^2}{2{\sigma }^2}$,对$\mu$和${\sigma }^2$求偏导，得到
$\frac{\partial L}{\partial \mu }=\frac{1}{{\sigma }^2}(\epsilon -\mu )$,
$\frac{\partial L}{\partial {\sigma }^2}$