广义线性回归

1.感知机

学习来源《统计学习方法（第2版）》第2章

1.1 模型

符号函数：
$$sign(x)=\{\begin{array}{rlr}+1& ,& x⩾0\\ -1& ,& x<0\end{array}\text{\hspace{1em}(1)}$$

感知机：
$$f(x)=sign(w\cdot x+b)=\{\begin{array}{rlr}+1& ,& w\cdot x+b⩾0\\ -1& ,& w\cdot x+b<0\end{array}\text{\hspace{1em}(2)}$$
其中，$w=(w_1,w_2,...,w_n),x=(x_1,x_2,...,x_n{)}^T$
感知机几何解释：
线性方程$w\cdot x+b$对应一个超平面$S$,$w$是超平面的法向量，$b$是超平面的截距。

1.2 损失函数

单个误分类点到分离超平面的距离：
$$-\frac{1}{||w||}{y}_i(w\cdot x_i+b)\text{\hspace{1em}(3)}$$
所有误分类点到分离超平面的距离：
$$-\frac{1}{||w||}\sum _{x_i\in M}{y}_i(w\cdot x_i+b)\text{\hspace{1em}(4)}$$
损失函数：
$$L(w,b)=-\sum _{x_i\in M}{y}_i(w\cdot x_i+b)\text{\hspace{1em}(5)}$$

1.3 算法

需要找到一组合适的$w,b$，因此求导：
$$\begin{array}{rl}{\nabla }_{w}L(w,b)& =-\sum _{x_i\in M}{y}_i{x}_i\\ {\nabla }_{b}L(w,b)& =-\sum _{x_i\in M}{y}_i\end{array}\text{\hspace{1em}(6)}$$
更新：
$$\begin{array}{rl}w& \leftarrow w+\eta y_i{x}_i\\ b& \leftarrow b+\eta y_i\end{array}\text{\hspace{1em}(7)}$$
注意：不是一次使所有的误分类点梯度下降，而是一次随机选取一个误分类点使其梯度下降

1.3.1 算法1

(1).选取初值$w_0,b_0$;
(2).训练集中校验样本点；
(3).如果$y_i(w\cdot x_i+b)⩽0$，说明是该样本点是误分类点，执行更新步骤；
(4).转至(2)，直到数据集中没有误分类点

1.3.2 算法2（对偶形式）

算法2是对算法1的改进。当$w_0=0，b_0=0$时，原更新方程变成：
$$\begin{array}{rl}w& \leftarrow \eta y_i{x}_i\\ b& \leftarrow \eta y_i\end{array}\text{\hspace{1em}(8)}$$
设修改$n$次，$w,b$可以表示为${\alpha }_i{y}_i{x}_i$和${\alpha }_i{y}_i$，其中${\alpha }_i=n_i\eta$。$\eta$是学习率，$i$是实例的编号。当$\eta =1$时，${\alpha }_i=n_i$表示第$i$个实例点由于误分而更新的次数。于是，最后学习到的$w,b$可以表示为：
$$\begin{array}{rl}w=& \sum _{i=1}^N{\alpha }_i{y}_i{x}_i\\ b=& \sum _{i=1}^N{\alpha }_i{y}_i\end{array}\text{\hspace{1em}(9)}$$
归纳一下算法2：
(1).$\alpha \leftarrow 0,b\leftarrow 0$；
(2).数据集遍历数据；
(3).如果$y_i({\sum }_{j=1}^N{\alpha }_j{y}_j{x}_j\cdot x_i+b)⩽0$，更新
$$\begin{array}{rl}{\alpha }_i& \leftarrow {\alpha }_i+\eta \\ b& \leftarrow b+\eta y_i\end{array}\text{\hspace{1em}(10)}$$
(4).转至(2)，直至数据集中没有误分类点
注意：步骤(3)的$y_i({\sum }_{j=1}^N{\alpha }_j{y}_j{x}_j\cdot x_i+b)⩽0$中，只有${\alpha }_i,b$未知，$(x_i,y_i),(x_j,y_j)$均已知。所以需要对${\alpha }_i,b$更新，$b$更新与算法1相同，如何更新${\alpha }_i$呢？查看${\alpha }_i$的定义，${\alpha }_i=n_i\eta$。eg.$n_2=3$表示第$2$个实例点，误分了$3$次，因此${\alpha }_2=\eta +\eta +\eta$。所以更新方程要定义为${\alpha }_i\leftarrow {\alpha }_i+\eta$

1.4 总结

缺点：
(1).无法解决非线性；
(2).初值以及误分类点的选择不同，得到不同的分离超平面

2.SVM

学习来源《统计学习方法（第2版）》第7章

2.1 建模

单个样本点到超平面的函数间隔：
$$\widehat{{\gamma }_i}=y_i(w\cdot x_i+b)\text{\hspace{1em}(11)}$$
取所有样本点函数间隔最小的，把它作为整个数据集的函数间隔：
$$\hat{\gamma }=\underset{i=1,2,...,N}{\min }\widehat{{\gamma }_i}\text{\hspace{1em}(12)}$$
由于成倍地扩大或者缩小$w,b$会改变函数间隔，因此引入几何间隔：
$${\gamma }_i=y_i(\frac{w}{||w||}\cdot x_i+\frac{b}{||w||})\text{\hspace{1em}(13)}$$
整个数据集的几何间隔：
$$\gamma =\underset{i=1,2,...,N}{\min }{\gamma }_i\text{\hspace{1em}(14)}$$

对这个分类问题建模以后，需要最大化间隔。因为间隔越大，被认为确信度越大：
$$\begin{array}{rlr}\underset{w,b}{\max }& \gamma & \\ s.t.& y_i(\frac{w}{||w||}\cdot x_i+\frac{b}{||w||})⩾\gamma ,& i=1,2,...,N\end{array}\text{\hspace{1em}(15)}$$
函数间隔和几何间隔存在关系$\gamma =\frac{\hat{\gamma }}{||w||}$代入公式（15）：
$$\begin{array}{rlr}\underset{w,b}{\max }& \frac{\hat{\gamma }}{||w||}& \\ s.t.& y_i(w\cdot x_i+b)⩾\hat{\gamma },& i=1,2,...,N\end{array}\text{\hspace{1em}(16)}$$
令$\hat{\gamma }=1$，不影响最后的解。同时，求最大化的$\frac{1}{||w||}$和求最小化的$\frac{1}{2}||w|{|}^2$问题等价，原问题变成：
$$\begin{array}{rlr}\underset{w,b}{\min }& \frac{1}{2}||w|{|}^2& \\ s.t.& y_i(w\cdot x_i+b)-1⩾0,& i=1,2,...,N\end{array}\text{\hspace{1em}(17)}$$
这是一个凸二次规划问题。

2.2 解方程

2.2.1 推导

无法直接求解式（17），将原始问题转变成对偶问题：
(1).构建拉格朗日函数：
$$\begin{array}{rl}L(w,b,\alpha )=& \frac{1}{2}||w|{|}^2-\sum _{i=1}^N{\alpha }_i(y_i(w\cdot x_i+b)-1)\\ =& \frac{1}{2}||w|{|}^2-\sum _{i=1}^N{\alpha }_i{y}_i(w\cdot x_i+b)+\sum _{i=1}^N{\alpha }_i\end{array}\text{\hspace{1em}(18)}$$
即原问题可描述成极大极小问题：
$$\underset{\alpha }{\max }\underset{w,b}{\min }L(w,b,\alpha )\text{\hspace{1em}(19)}$$
(2).求极小：
求偏导
$$\begin{array}{rl}{\nabla }_{w}L(w,b,\alpha )=& w-\sum _{i=1}^N{\alpha }_i{y}_i{c}_i=0\\ {\nabla }_{b}L(w,b,\alpha )=& -\sum _{i=1}^N{\alpha }_i{y}_i=0\end{array}\text{\hspace{1em}(20)}$$
即：
$$\begin{array}{rl}w=& \sum _{i=1}^N{\alpha }_i{y}_i{x}_i\\ & \sum _{i=1}^N{\alpha }_i{y}_i=0\end{array}\text{\hspace{1em}(21)}$$
将(21)代入(18)中：
$$\begin{array}{rl}L(w,b,\alpha )=& \frac{1}{2}\sum _{i=1}^N\sum _{j=1}^N{\alpha }_i{\alpha }_j{y}_i{y}_j(x_i\cdot x_j)-\sum _{i=1}^N{\alpha }_i{y}_i((\sum _{i=1}^N{\alpha }_j{y}_j{x}_j)\cdot x_i+b)+\sum _{i=1}^N{\alpha }_i\\ =& -\frac{1}{2}\sum _{i=1}^N\sum _{i=1}^N{\alpha }_i{\alpha }_j{y}_i{y}_j(x_i\cdot x_j)+\sum _{i=1}^N{\alpha }_i\end{array}\text{\hspace{1em}(22)}$$
(3).求极大
$$\begin{array}{rl}\underset{\alpha }{\max }& -\frac{1}{2}\sum _{i=1}^N\sum _{j=1}^N{\alpha }_i{\alpha }_j{y}_i{y}_j(x_i\cdot x_j)+\sum _{i=1}^N{\alpha }_i\\ s.t.& \sum _{i=1}^N{\alpha }_i{y}_i=0\\ & {\alpha }_i⩾0,i=1,2,...,N\end{array}\text{\hspace{1em}(23)}$$
将求极大转变成求极小：
$$\begin{array}{rl}\underset{\alpha }{\min }& \frac{1}{2}\sum _{i=1}^N\sum _{j=1}^N{\alpha }_i{\alpha }_j{y}_i{y}_j(x_i\cdot x_j)-\sum _{i=1}^N{\alpha }_i\\ s.t.& \sum _{i=1}^N{\alpha }_i{y}_i=0\\ & {\alpha }_i⩾0,i=1,2,...,N\end{array}\text{\hspace{1em}(24)}$$

2.2.2 线性可分支持向量机算法

(1).构造并求解约束最优化问题：
$$\begin{array}{rl}\underset{\alpha }{\min }& \frac{1}{2}\sum _{i=1}^N\sum _{j=1}^N{\alpha }_i{\alpha }_j{y}_i{y}_j(x_i\cdot x_j)-\sum _{i=1}^N{\alpha }_i\\ s.t.& \sum _{i=1}^N{\alpha }_i{y}_i=0\\ & {\alpha }_i⩾0,i=1,2,...,N\end{array}\text{\hspace{1em}(25)}$$
求得最优解${\alpha }^{\ast }=({\alpha }_1^{\ast },{\alpha }_2^{\ast },...,{\alpha }_N^{\ast }{)}^T$
(2).计算
$$\begin{array}{r}{w}^{\ast }=\sum _{i=1}^N{\alpha }_i^{\ast }{y}_i{x}_i\end{array}\text{\hspace{1em}(26)}$$
并选择${\alpha }^{\ast }$的一个正分量${\alpha }_j^{\ast }>0$，计算
$$b^{\ast }=y_j-\sum _{i=1}^N{\alpha }_i^{\ast }{y}_i(x_i\cdot x_j)\text{\hspace{1em}(27)}$$
(3).求得分离超平面：
$$w^{\ast }\cdot x+b^{\ast }=0\text{\hspace{1em}(28)}$$
分类决策函数：
$$f(x)=sign(w^{\ast }\cdot x+b^{\ast })\text{\hspace{1em}(29)}$$

2.3 拓展建模

之前的建模存在一个bug，不允许存在outlier。为了增加算法的鲁棒性，引入软间隔的概念。
原始问题可被定义成：
$$
\begin{aligned}

\end{aligned}
$$

2.4 拓展解方程

2.5 拓展非线性

2.6 总结