感知机
- 感知机是二类分类的线性分类模型，其输入为实例的特征向量，输出为实例的类别，取+1和-1二值。
- 感知机学习旨在求出将训练数据进行线性划分的分离超平面。
- 导入基于误分类的损失函数，利用梯度下降法对损失函数进行极小化，求得感知机模型。
- 感知机分为原始形式和对偶形式
- 由输入空间到输出空间的如下函数
f ( x ) = sign ( w ∙ x + b ) f(x)=\operatorname{sign}(w \bullet x+b) f(x)=sign(w∙x+b)
称为感知机，其中w,b称为感知机模型参数。
由训练数据集，求得模型参数w,b。通过学习得到的感知机模型，对于新的输入实例给出其对应的 输出类别。
- 数据集的线性可分：存在超平面S，使得不同类别的数据集分布在超平面的两侧。
- 学习策略：定义一个损失函数，并将损失函数极小化。
- 所有误分类点到超平面S的总距离
− 1 ∥ w ∥ ∑ x i ∈ M y i ( w ∙ x i + b ) -\frac{1}{\|w\|} \sum_{x_i \in M} y_i\left(w \bullet x_i+b\right) −∥w∥1xi∈M∑yi(w∙xi+b)
常数1/||w||不考虑，得到感知机学习的损失函数。
L
(
w
,
b
)
=
−
∑
x
i
∈
M
y
i
(
w
∙
x
i
+
b
)
L(w,b)=-\sum_{x_i \in M} y_i\left(w \bullet x_i+b\right)
L(w,b)=−xi∈M∑yi(w∙xi+b)
-
感知机的学习策略就是选取使损失函数最小的模型参数w,b。
采用梯度下降法。首先，任选一个超平面w0,b0。然后使用梯度下降法不断地极小化目标函数。
通过数学定理，证明误分类次数k是有上界的，经过有限次的搜索一定可以找到超平面。但是感知机学习算法的解不唯一，既依赖于初值的选择，也依赖于迭代过程中误分类点的选择顺序。
-
感知机的对偶形式
4431
被折叠的 条评论
为什么被折叠?
到【灌水乐园】发言
