回归

回归

首先理解回归与分类的区别：回归的y值是针对连续值的，而分类中的y值则为离散值。
下面介绍几种重要的回归

线性回归

通常回归可以写成这样的形式（两个变量）：${h_\theta }\left( x \right) = {\theta _0} + {\theta _1}{x_1} + {\theta _2}{x_2}$
而对于多变量的情况，则可以写成向量形式：${h_\theta }\left( x \right) = \sum\limits_{i = 0}^m {{\theta _i}{x_i}} = {\theta ^T}x$
对于回归，我们最常用的方法是最小二乘，下面通过极大似然估计来解释最小二乘。
对于回归函数：${y^{\left( i \right)}} = {\theta ^T}{x^{\left( i \right)}} + {\varepsilon ^{\left( i \right)}}$
我们假设误差${\varepsilon ^{\left( i \right)}}\left( {1 \le i \le m} \right)$是独立同分布的，且服从均值为0，方差为${\sigma ^2}$的高斯分布。
所以有：$p\left( {{\varepsilon ^{\left( i \right)}}} \right) = \frac{1}{{\sqrt {2\pi } \sigma }}\exp \left( { - \frac{{{{\left( {{\varepsilon ^{\left( i \right)}}} \right)}^2}}}{{2{\sigma ^2}}}} \right)$
$p\left( {{y^{\left( i \right)}}\left| {{x^{\left( i \right)}}} \right.;\theta } \right) = \frac{1}{{\sqrt {2\pi } \sigma }}\exp \left( { - \frac{{{{\left( {{y^{\left( i \right)}} - {\theta ^T}{x^{\left( i \right)}}} \right)}^2}}}{{2{\sigma ^2}}}} \right)$
$L\left( \theta \right) = \prod\limits_{i = 1}^m {p\left( {{y^{\left( i \right)}}\left| {{x^{\left( i \right)}}} \right.;\theta } \right)}$，即：$L\left( \theta \right) = \prod\limits_{i = 1}^m {\frac{1}{{\sqrt {2\pi } \sigma }}\exp \left( { - \frac{{{{\left( {{y^{\left( i \right)}} - {\theta ^T}{x^{\left( i \right)}}} \right)}^2}}}{{2{\sigma ^2}}}} \right)}$
对数似然函数为：

目标函数为：$J\left( \theta \right) = \frac{1}{2}\sum\limits_{i = 1}^m {{{\left( {{y^{\left( i \right)}} - {\theta ^T}{x^{\left( i \right)}}} \right)}^2}}$
下面求解$\theta$:
目标函数：$J\left( \theta \right) = \frac{1}{2}\sum\limits_{i = 1}^m {{{\left( {{y^{\left( i \right)}} - {\theta ^T}{x^{\left( i \right)}}} \right)}^2}} = \frac{1}{2}{\left( {X\theta - y} \right)^T}\left( {X\theta - y} \right)$
其中M个N维样本组成矩阵X：
–X的每一行对应一个样本，一共有M个样本
–X的每一列对应一个特征，一共有N个特征，还有一维常数项，全为1.
计算梯度：

参数的解析式：$\theta {\rm{ = }}{\left( {{X^T}X} \right)^{{\rm{ - }}1}}{X^T}y$
若${{X^T}X}$不可逆或者为了防止过拟合，需要增加$\lambda$扰动:$\theta {\rm{ = }}{\left( {{X^T}X{\rm{ + }}\lambda I} \right)^{{\rm{ - }}1}}{X^T}y$
说明：${{X^T}X}$是半正定的，则对于${{X^T}X{\rm{ + }}\lambda I}$一定是正定的，从而${{X^T}X{\rm{ + }}\lambda I}$可逆，则参数一定有解。
线性回归的正则项（防止过拟合）：
目标函数为：$J\left( \theta \right) = \frac{1}{2}\sum\limits_{i = 1}^m {{{\left( {{y^{\left( i \right)}} - {\theta ^T}{x^{\left( i \right)}}} \right)}^2}}$
L1-正则项：$J\left( \theta \right) = \frac{1}{2}\sum\limits_{i = 1}^m {{{\left( {{y^{\left( i \right)}} - {\theta ^T}{x^{\left( i \right)}}} \right)}^2}} {\rm{ + }}\lambda \sum\limits_{j = 1}^n {\left| {{\theta _j}} \right|}$
L2-正则项：$J\left( \theta \right) = \frac{1}{2}\sum\limits_{i = 1}^m {{{\left( {{y^{\left( i \right)}} - {\theta ^T}{x^{\left( i \right)}}} \right)}^2}} {\rm{ + }}\lambda \sum\limits_{j = 1}^n {\theta _j^2}$
Elastic Net:
说明：对于线性回归，L1正则化就相当于岭回归，L2正则化就相当于岭回归。

logistic回归

Logistic/Sigmoid函数

${h_\theta }\left( x \right) = g\left( {{\theta ^T}x} \right) = \frac{1}{{1 + {e^{ - {\theta ^T}x}}}}$
$g'\left( x \right) = {\left( {\frac{1}{{1 + {e^{ - x}}}}} \right)^\prime } = \frac{{{e^{ - x}}}}{{\left( {1 + {e^{ - x}}} \right){}^2}}$,$g'\left( x \right) = \frac{1}{{1 + {e^{ - x}}}} \bullet \frac{{{e^{ - x}}}}{{1 + {e^{ - x}}}} = \frac{1}{{1 + {e^{ - x}}}} \bullet \left( {1 - \frac{1}{{1 + {e^{ - x}}}}} \right) = g\left( x \right)\left( {1 - g\left( x \right)} \right)$
Logistic回归参数估计
假设：$P\left( {y = 1\left| {x;\theta } \right.} \right) = {h_\theta }\left( x \right)$;$P\left( {y = 0\left| {x;\theta } \right.} \right) = 1 - {h_\theta }\left( x \right)$
$p\left( {y\left| {x;\theta } \right.} \right) = {\left( {{h_\theta }\left( x \right)} \right)^y}{\left( {1 - {h_\theta }\left( x \right)} \right)^{1 - y}}$
似然函数：

对数似然：

对数线性模型
一个事件的几率odds，是指该事件发生的概率与不发生的概率的比值。
对数几率：logit函数
$P\left( {y = 1\left| {x;\theta } \right.} \right) = {h_\theta }\left( x \right)$
$P\left( {y = 0\left| {x;\theta } \right.} \right) = 1 - {h_\theta }\left( x \right)$

Logistic回归的损失函数${y_i} \in \left\{ {0,1} \right\}$


Logistic回归的损失函数${y_i} \in \left\{ {-1,1} \right\}$

广义线性模型GLM

y不再只是高斯分布，而是扩大为指数族中的任意分布；
变量$x \to g\left( x \right) \to y$,连接函数g单调可导。
如线性回归中$g\left( z \right) = z$;logistic回归中$g\left( z \right) = \frac{1}{{1 + {e^{ - z}}}}$

Softmax回归

K分类，第k类的参数为${{\vec \theta }_k}$，组成二维矩阵${\theta _{k \times n}}$
概率：$p\left( {c = k\left| {x;\theta } \right.} \right) = \frac{{\exp \left( {\theta _k^Tx} \right)}}{{\sum\limits_{l = 1}^K {\exp \left( {\theta _l^Tx} \right)} }},k = 1,2 \cdots ,K$
似然函数：

对数似然：

随机梯度：$\frac{{\partial J\left( \theta \right)}}{{\partial {\theta _k}}} = \left( {{y_k} - p\left( {{y_k}\left| {x;\theta } \right.} \right)} \right)x$