本文介绍了感知机模型，作为二分类线性模型，其核心是找到最佳分离超平面。通过随机梯度下降法进行学习，当数据线性可分时算法收敛。文章详细阐述了感知机的学习策略和算法，并提供了使用Python实现的示例，包括自定义模型和scikit-learn库的应用，以Iris数据集中的两个特征为例展示了分类效果。
感知机
1．感知机是根据输入实例的特征向量 x x x对其进行二类分类的线性分类模型，属于判别模型，旨在求出将训练数据进行划分的分离超平面。它是神经网络和支持向量机的基础，输出空间是{+1，-1}，由输入空间到输出空间的函数如下：
f ( x ) = sign ( w ⋅ x + b ) f(x)=\operatorname{sign}(w \cdot x+b) f(x)=sign(w⋅x+b)
感知机模型对应于输入空间（特征空间）中的分离超平面 w ⋅ x + b = 0 w \cdot x+b=0 w⋅x+b=0。
2．感知机学习的策略是在假设空间中选取使损失函数极小的模型参数 w w w、 b b b,即感知机模型。最优化定义如下：
min w , b L ( w , b ) = − ∑ x i ∈ M y i ( w ⋅ x i + b ) \min _{w, b} L(w, b)=-\sum_{x_{i} \in M} y_{i}\left(w \cdot x_{i}+b\right) w,bminL(w,b)=−xi∈M∑yi(w⋅xi+b)
损失函数对应于误分类点到分离超平面的总距离。
3．感知机学习算法是基于随机梯度下降法的对损失函数的最优化算法，有原始形式和对偶形式。算法简单且易于实现。原始形式中，首先任意选取一个超平面，然后用梯度下降法不断极小化目标函数。在这个过程中一次随机选取一个误分类点使其梯度下降。
4．当训练数据集线性可分时，感知机学习算法是收敛的，即经有限次迭代可以得到将训练数据集完全正确划分的分离超平面。感知机算法在训练数据集上的误分类次数 k k k满足不等式：
k ⩽ ( R γ ) 2 k \leqslant\left(\frac{R}{\gamma}\right)^{2} k⩽(
最低0.47元/天 解锁文章
扫一扫
1028
被折叠的 条评论
为什么被折叠?
到【灌水乐园】发言
