关于感知机学习的总结,虽然大多是书上内容,但是觉得写下来还是有意义的~~
参考其他几篇博客,大致分为以下几个版块
【感知机的数学模型】
【感知机的几何意义】
【感知机学习策略】
【感知机学习算法实现——原始形式】
【感知机学习算法实现——对偶形式】
【感知机算法实现例题】
【感知机模型的python实现】
参考书籍 李航 -《统计学习方法》 《python machine learning》
1、【感知机的数学模型】
【概要 outline 】:
perceptron 二类分类的线性分类模型
输入:实例的特征向量;
输出 : 实例的分类 ,取值为+1,-1
对应于输入空间中将数据进行线性划分的分离超平面,属于判别模型。
目标:求出分离超平面
基本想法:导入基于误分类的损失函数,利用梯度下降法(gradient descent)对损失函数(loss function)进行极小化,求得感知机模型。
【定义 definition】
输入空间是 ,输出空间是
输入到输出的函数为 即为感知机模型
其中w,b为感知机模型参数,w为权值(weight vector),b 为偏置(bias)
sign函数为
2、【感知机的几何意义】
线性方程 对应于特征空间的超平面S,
其中w 是法向量,b是截距。
超平面S将特征向量分为两部分,分别称为正、负两类。
3、【感知机学习策略】
数据的线性可分性: 给定数据集
如果存在超平面S可以将所有的正实例点和负实例点完全正确的划分到S的两侧,即
对所有的