《统计学习方法》——第二章 感知机

提示：文章写完后，目录可以自动生成，如何生成可参考右边的帮助文档

---

前言

本文只要记录一些书中的一些小知识点，挑一些本人认为重要的地方进行总结。

各位道友！道长(zhǎng) 道长(chǎng)

---

一、感知机

1.感知机模型

由输入空间到输出空间的如下函数，称为感知机
$$f(x)=sign(w\cdot x+b)$$
其中，sign是符号函数，大于等于0是+1，小于0是-1。

2.感知机学习策略

为了找出将正负实例点全部分开的超平面，即找到w和b。
需要定义损失函数并将之极小化。损失函数定义为
$$L(w,b)=-\sum _{x_i\in M}{y}_i(w\cdot x_i+b)$$
其中，M是误分类点的集合。

3.感知机学习算法

3.1 原始形式

输入：训练数据集$T=(x_1,y_1)...(x_N,y_N)$,学习率$\eta$
输出：$w$,$b$，感知机模型$f(x)=sign(w\cdot x+b)$
(1)选初始值$w_0$，$b_0$
(2)训练集合中选数据$(x_i,y_i)$
(3)如果$y_i(w\cdot x+b)\le 0$ (如果选取的店是误分类点)
$$w⟵w+\eta y_i{x}_i$$
$$b⟵b+\eta y_i$$
(4)转到(2)，直到没有误分类点

直观上来说，当遇到误分类点的时候，即这个点位于分离超平面的错误一侧，调整w，b的值，使超平面向误分类点一侧移动，直到越过误分类点，正确分类。

3.2对偶形式

输入：训练数据集$T=(x_1,y_1)...(x_N,y_N)$,学习率$\eta$
输出：$\alpha$,$b$，感知机模型$f(x)=sign({\sum }_{j=1}^N{\alpha }_j{y}_j{x}_j\cdot x+b)$,其中，$\alpha =({\alpha }_1...{\alpha }_N{)}^T$
(1)选初始值${\alpha }_0$，$b_0$
(2)训练集合中选数据$(x_i,y_i)$
(3)如果$y_i({\sum }_{j=1}^N{\alpha }_j{y}_j{x}_j\cdot x_i+b)\le 0$
$$\alpha ⟵\alpha +\eta$$
$$b⟵b+\eta y_i$$
(4)转到(2)，直到没有误分类点

对偶形式中，有很多实例以内积形式出现，为了方便计算，可以把实例的内积计算出来以矩阵存储，这就是Gram矩阵
$$G=[x_i\cdot x_j{]}_{N\ast N}$$

4.感知机算法是收敛的！

总结

今天的内容是统计学习方法的第一章节，挺容易理解的，结合模型图理解更加方便