【机器学习】感知机学习---《统计学习方法》学习笔记

开始学习机器学习有一段时间了，一开始认为做应用的只知道简单的理论就够了，因此更加倾向于学习《机器学习实战》、《集体智慧编程》这类书籍，在学习了一段时间后，尤其是看了一段时间斯坦福大学的公开课以后，有一种强烈的欲望想要去学习机器学习中的数学，但是迫于自身数学能力不是很强，啃起《统计学习方法》这本书来，还是有一定难度的。只作为一个笔记，以后可以温故而知新。

在真正开始学习之前，其实统计学习方法中还是有一些基本概念需要理解的，在书中第一章。

基本概念

基本模型：

$$f(x) = sign(w\cdot x + b)$$
其中：
$$sign(x) = \{ \begin{matrix} +1, x\ge0 \\ -1, x\lt0 \end{matrix}$$

这是一种线性分类模型，属于判别模型。

定义：假设输入空间（特征空间）是 $\chi \subseteq \mathbb{R}^{n}$，输出空间为$y= \left\{\begin{matrix}+1\\ -1\end{matrix}\right.$，输入表示实例的特征向量，对应于输入空间的点；输出表示实例的类别。由输入空间到输出空间的如下函数：

$$f(x) = sign(w\cdot x + b)$$ 称为 感知机。其中， $\omega$ 和 $b$ 为感知机模型的参数。$\omega \in \mathbb{R}$ 叫做 权值（weight）， $b \in \mathbb{R}$ 叫做 偏置（bias）。

学习策略

目的：找出一个线性可分的超平面，定义一个损失函数，求 $\omega$ 和 $b$ ，并将损失函数极小化。

损失函数的选取：

1. 自然选择是误分类点的个数，但是这个函数并不是参数的连续可导函数，不易于优化；

2. 可以选择误分类点到超平面的距离，即：

   $$\frac{1}{\left \| \omega \right \|}\left | \omega\cdot x + b \right | ,\left \| \omega \right \| 为 \omega的L_{2}范数$$

   推导过程：
   对于任何误分类点来说：

   $$-y_{i}\left ( \omega \cdot x_{i} + b \right )> 0 ，$$ $$\frac{1}{\left \| \omega \right \|}\left | \omega\cdot x + b \right | = \frac{-1}{\left \| \omega \right \|}y_{i}\left ( \omega \cdot x_{i} + b \right )，$$
   因此，所有误分类点到超平面的距离之和为： $$L\left( \omega, b \right) =\frac{-1}{\left \| \omega \right \|}\sum_{x_{i}\in M} y_{i}\left ( \omega \cdot x_{i} + b \right )，M为所有的误分类点。$$
   $L\left( \omega, b \right)$即为感知机模型的损失函数。

   学习算法

   现在的问题变成了求解$L\left( \omega, b \right)$的最优化问题。在这里有两种形式：原始形式和对偶形式。

   原始形式

   描述：给定数据集$T=\left \{ \left ( x_{1},y_{1} \right ),\left( x_{2},y_{2} \right )\cdot \cdot \cdot \left ( x_{n},y_{n} \right ) \right \}$。其中，$x_{i} \in X = \mathbb{R}$，$y_{i} \in Y= \left \{ +1, -1 \right \}. i=1,2,3 \cdot \cdot \cdot, N$，求参数$\omega，b$，使其成为以下最优化问题的解：

   $$min_{w,b}L \left ( \omega, b \right )=-\sum_{x_{i} \in M }y_{i} \left ( \omega x_{i} + b \right ) ，$$ 其中 $M$为误分类点的集合。

   随机梯度下降法：建议查阅相关资料。

   求解（求梯度）：

   对于$\omega$求偏导：

   $$\bigtriangledown _{\omega} \left( \omega, b \right )=-\sum _{x_{i} \in M} y_{i}x_{i}，$$
   对于 $b$求偏导： $$\bigtriangledown _{b} \left( \omega, b \right )=-\sum _{x_{i} \in M} y_{i}$$

   随机选取误分类点$\left ( x_{i}, y_{i} \right ),$对于$\omega, b$进行更新：

   $$\omega \leftarrow \omega + \eta y_{i} x_{i},$$ $$b\leftarrow b + \eta y_{i},$$ 其中， $\eta$表示为步长或者学习率，控制梯度下降的速度。

   综上所述，感知机学习算法的原始形式表述如下：

   输入：训练数据集$T=\left \{ \left ( x_{1},y_{1} \right ),\left( x_{2},y_{2} \right )\cdot \cdot \cdot \left ( x_{n},y_{n} \right ) \right \}$，其中，$x_{i} \in X = \mathbb{R}$，$y_{i} \in Y= \left \{ +1, -1 \right \}. i=1,2,3 \cdot \cdot \cdot, N$；学习率$\eta （0 < \eta \leq 1）$；

   输出： $\omega, b$；感知机模型 $f\left ( x \right )=sign\left ( \omega \cdot x + b \right )$。

   步骤：

   1. 选取初值$\omega_{0}, b_{0}$；
   2. 在训练集中选取数据$\left (x_{i}, y_{i} \right)$；
   3. 如果$y_i \left ( \omega \cdot x_i + b \right) \leq 0 ：$ $$\omega \leftarrow \omega + \eta y_{i} x_{i},$$ $$b\leftarrow b + \eta y_{i}$$
   4. 转至step2，直到训练集中没有误分类点。

   对偶形式

   不想写了。。。。。。。