感知机
一、感知机概述
感知机是应用于二分类线性可分问题的分类器。目的在于找到一个分离超平面,能够正确分类训练集中的所有正负样本点。
二、目标函数及参数优化
2.1 前向运算
由输入空间(特征空间)到输出空间的函数为:
其中sign为符号函数,括号内数值若大于等于0则为1,否则为-1
其中WX+b=0为分离超平面,若WX+b>=0则为正类,若WX+b<0则为负类
2.2 感知机模型图
2.3 感知机的目标函数:
其中,M为错误分类的点的集合,其目的是计算所有错误分类的点到分离超平面的距离损失。
2.4 目标函数的由来
点到分离超平面的距离公式为:
对于正确分类的点y为+1,错误分类的点的y为-1,
因此,上述公式可推理得:
去掉||w||即可的得到感知机的目标函数。
2.5 反向传播进行优化
得到每个点的目标函数计算的损失之后对W和b进行优化,利用随机梯度下降法对W和b进行优化
首先对损失函数对于W和b求导,可得:
对W和b进行更新:
其中符号η为步长,即学习率。
重新测试新的数值点,依次循环进行更新W和b,直到所有的点全部分类正确为止
三、参考文献
1、李航的《统计学习方法》