机器学习复习17-感知机详解

1. 感知机模型

使用感知机一个最大的前提，就是数据是线性可分的。这严重限制了感知机的使用场景。它的分类竞争对手在面对不可分的情况时，比如支持向量机可以通过核技巧来让数据在高维可分，神经网络可以通过激活函数和增加隐藏层来让数据可分。

2. 感知机模型损失函数

3. 感知机模型损失函数的优化方法

用梯度下降法或者拟牛顿法来解决，常用的是梯度下降法。

但是用普通的基于所有样本的梯度和的均值的批量梯度下降法（BGD）是行不通的，原因在于我们的损失函数里面有限定，只有误分类的M集合里面的样本才能参与损失函数的优化。
所以我们不能用最普通的批量梯度下降,只能采用随机梯度下降（SGD）或者小批量梯度下降（Mini-BGD）。

假设采用第i个样本来更新梯度，则简化后的𝜃向量的梯度下降迭代公式为：
𝜃 = 𝜃 + 𝛼 𝑦(𝑖) 𝑥(𝑖)
其中𝛼为步长，𝑦(𝑖)为样本输出1或者-1，𝑥(𝑖)为 (n+1) x 1 的向量。

4. 感知机模型的算法

5. 感知机模型的算法对偶形式（略）

上一节的感知机模型的算法形式我们一般称为感知机模型的算法原始形式。对偶形式是对算法执行速度的优化。