感知机学习总结 (一)

关于感知机学习的总结，虽然大多是书上内容，但是觉得写下来还是有意义的~~

参考其他几篇博客，大致分为以下几个版块

【感知机的数学模型】

【感知机的几何意义】

【感知机学习策略】

【感知机学习算法实现——原始形式】

【感知机学习算法实现——对偶形式】

【感知机算法实现例题】

【感知机模型的python实现】

参考书籍  李航 -《统计学习方法》 《python machine learning》

1、【感知机的数学模型】

【概要 outline 】：

           perceptron 二类分类的线性分类模型

           输入：实例的特征向量；

           输出 ： 实例的分类 ，取值为+1，-1

           对应于输入空间中将数据进行线性划分的分离超平面，属于判别模型。

           目标：求出分离超平面

          基本想法：导入基于误分类的损失函数，利用梯度下降法（gradient descent）对损失函数(loss function)进行极小化，求得感知机模型。

 

【定义 definition】

输入空间是 ，输出空间是

输入到输出的函数为     即为感知机模型

其中w,b为感知机模型参数，w为权值（weight vector）,b 为偏置（bias)

sign函数为

2、【感知机的几何意义】

线性方程  对应于特征空间的超平面S，

其中w 是法向量，b是截距。

超平面S将特征向量分为两部分，分别称为正、负两类。

 

3、【感知机学习策略】

数据的线性可分性： 给定数据集

   

如果存在超平面S可以将所有的正实例点和负实例点完全正确的划分到S的两侧，即

对所有的