分离超平面
随机梯度下降
对偶形式
感知机简介
感知机1957年由Rosenblatt提出,是神经网络与支持向量机的基础。
感知机是二类分类的线性分类模型
输入是实例的特征向量
输出是实例的类型{+1,-1}
感知机模型是一个分离超平面
感知机预测
感知机模型
感知机学习策略(线性可分)
损失函数
自然选择:误分类点的数目
但损失函数跟参数w,b无关,不是w,b 连续可导,不宜优化
误分类点到超平面的总距离
几何距离
函数距离
代价函数
感知机学习算法
随机梯度下降法
感知机学习算法的原始形式
感知机学习过程
多个解
感知机学习算法由于采用不同的初值或选取不同的误分类点,解可以不同
*收敛性证明
证明:对于线性可分数据集感知机学习算法原始形式收敛
等价于:经过有限次迭代k可以得到一个将训练数据集完全正确划分的分离超平面及感知机模型
即:k有上界
*定理Novikoff
详见ppt
感知机学习算法的对偶形式
对偶问题比原问题更容易解决或更容易计算
无论原优化问题的凸性如何,对偶问题始终是凸优化问题
一个凸优化问题的局部最优解就是其全局最优解
一个优化问题的拉格朗日对偶函数一定是一个凸优化问题
算法的对偶形式
就是从一个不同的角度去解答相似问题,但是问题的解是相通的,甚至是一样的
《运筹学》第二章 对偶问题
对于感知机学习算法来说,使用对偶形式可以降低计算量
基本思想:将w,b表示为实例x_i 和标记y_i的线性组合的形式,通过求解其系数而求得w,b
转换过程举例(w)
转换过程举例(b)
感知机学习算法的对偶形式
总结
感知机学习对偶过程
感知机学习策略(线性不可分)
应用
实战5-1:鸢尾花分类
实战5-2:线性不可分感知机