要点
• 感知机模型
• 感知机学习策略
• 感知机学习算法
一、感知机
它是神经网络技术的基础;是支持向量机模型的基础,它的线性可分性和对偶性形式是SVM算法直接的对应关系。
• 针对:二分类问题
• 实质:分离超平面,判别模型;
• 策略:基于误分类的损失函数;
• 方法:利用梯度下降法对损失函数进行极小化;
• 特点:感知机学习算法具有简单而易于实现的优点,
• 分类:分为原始形式和对偶形式;
一、感知机模型
为内积,b为偏置。
二、感知机学习策略
为了找到超平面,也就是确定参数w和b,需要确定一个学习策略,也就是定义损失函数,并将损失函数最小化。
总距离是指所有误分类点到超平面S的总距离。
三、感知机学习算法
感知机学习问题转化为求解一个最优化的问题。
η范围在0~1,它是学习步长也成为学习率
感知机学习算法原始形势
举例
算法收敛性
定理表明:
• 误分类的次数k是有上界的,当训练数据集线性可分时,感知机学习算法原始形式迭代是收 敛的。
• 感知机算法存在许多解,既依赖于初值,也依赖迭代过程中误分类点的选择顺序。
• 为得到唯一分离超平面,需要增加约束,如SVM。
• 线性不可分数据集,迭代震荡。
问题: • 实例点更新次数越多,意味着该点离分离超平面 ?====》越近
举例