感知机的学习

提示：文章写完后，目录可以自动生成，如何生成可参考右边的帮助文档

---

前言

感知机是1957年，由Rosenblatt提出会，是神经网络和支持向量机的基础。

---

一、概念

感知机是一种二类分类。

感知机的输入是实例的特征向量，输出则是类别，取值是：取+1和-1。

感知机是一个有监督的学习算法

假设训练数据集是线性可分的，感知机学习的目标是求得一个能够将训练数据集正实例点和负实例点完全正确分开的分离超平面。如果是非线性可分的数据，则最后无法获得超平面。

二、模型

1.感知机模型

输入：实例的特征向量
权重：模型计算期间需要计算的值
偏置：偏置神经元允许分类器向左或向右移动决策边界，有助于更快、更高质量的训练模型
加权：加权求和是我们与每个特征值相关的每个权重W相乘后得到的值得总和

2.几何解释

线性方程的几何解释：
线性方程：w x +b=0
对应超平面S，w为法向量，b为截距，分离正负类别；分离超平面。
（超平面指的是n维空间中n-1维的子空间）

三、感知机算法的理论分析

L(ω,b)常被称为感知机的损失函数。如果没有误分类点，损失函数等于0，误分类点越少，损失函数值就越小。所以感知机的学习策略就是选取参数: ω 和b 使L ( ω , b ) 达到最小值。误分类点的公式也在下图公式。

可以用一个实例（统计学习方法中的题目）来便于理解

四、感知机学习的对偶形式

Gram矩阵（格拉姆矩阵）

Gram矩阵的严格定义如下所示，Gram矩阵中的每一个元素衡量了此向量之间的相关关系，内积数值越大，相关关系越大，两个向量越相似。


Gram矩阵的用法在实例中有所演示。

对偶形式的基本思想

通过实例（统计学习方法中的题目）来理解：

总结

以上就是我对感知机的学习。