1.感知机

感知机

一、感知机概述

    感知机是应用于二分类线性可分问题的分类器。目的在于找到一个分离超平面，能够正确分类训练集中的所有正负样本点。

二、目标函数及参数优化

2.1 前向运算

    由输入空间（特征空间）到输出空间的函数为：

f(X)=sign(WX+b)

    其中sign为符号函数，括号内数值若大于等于0则为1，否则为-1
    其中WX+b=0为分离超平面，若WX+b>=0则为正类，若WX+b<0则为负类

2.2 感知机模型图

2.3 感知机的目标函数:

    其中，M为错误分类的点的集合，其目的是计算所有错误分类的点到分离超平面的距离损失。

2.4 目标函数的由来

    点到分离超平面的距离公式为：

    对于正确分类的点y为+1，错误分类的点的y为-1，
    因此，上述公式可推理得：

    去掉||w||即可的得到感知机的目标函数。

2.5 反向传播进行优化

    得到每个点的目标函数计算的损失之后对W和b进行优化，利用随机梯度下降法对W和b进行优化
    首先对损失函数对于W和b求导，可得：

    对W和b进行更新：

    其中符号η为步长，即学习率。
    重新测试新的数值点，依次循环进行更新W和b，直到所有的点全部分类正确为止

三、参考文献

    1、李航的《统计学习方法》