《统计学习方法》——第二章感知机
写在前面
最近终于有开始看《统计学习方法》了,毕竟无脑调参确实没有什么意义。一方面是作为看书的笔记,一方面作为比博客或许能起到一点参考作用吧。
希望可以日更。
感知机
由输入空间到输出空间的函数:
f ( x ) = s i g n ( w ⋅ x + b ) f(x) = sign(w\cdot x+b) f(x)=sign(w⋅x+b)
称为感知机。
感知机是一种线性分类模型,属于判别模型。
感知机的学习策略
感知机的损失函数:
− 1 ∥ w ∥ ∑ x i ∈ M y i ( w ⋅ x i + b ) -\frac{1}{\Vert w\Vert} \sum_{x_{i}\in M}y_{i}(w\cdot x_{i}+b) −∥w∥1xi∈M∑yi(w⋅xi+b)
注意:损失函数不需要考虑 − 1 ∥ w ∥ -\frac{1}{\Vert w \Vert} −∥w∥1
感知机的学习算法
感知机其实有两种学习算法:
- 原始学习算法
- 对偶学习算法
原始学习算法
每次选取一个误分类点来进行更新。
输入:训练数据集T,学习率η。
输出:w, b; 感知机模型: f ( x