机器学习算法学习：感知机

一、感知机算法简介：

　　感知机算法类似逻辑回归算法的轻量版，就是找出一个简单的分类超平面把正负类样本分离开来；

二、感知机判别函数：

　　f(x) = sign(w * x + b)

　　z = w * x + b

　　推导：由点到超平面的公式：

　　　　|w * x + b| / ||w||


　　　　可知，w * x + b > 0为正类（+1），w  *  x + b < 0为负类（-1）；

　　f(x)中的sign函数属于单位阶跃函数，当z > 0时返回+1，当z < 0时返回-1；

三、感知机的代价函数：

　　感知机的学习策略是找到一个分类超平面将正负类样本进行二分类，满足误分类点（分类错误的样本点）数目最小的思想；由于这样的代价函数的w,b不是连续可导的，所以我们转而求误分类点到超平面的总距离和最小，二者效用等同；

　　- yi * ( w * xⁱ + b)  > 0   =》  属于误分类点；

　　J_(w,b) = -1/||w|| * ∑^m_i=0 [yⁱ * (w * xⁱ + b) ]

四、感知机最优化问题：

　　感知机中的每次迭代是对训练集的所有样本点进行遍历，比较预测值和真实的目标值是否有误差，有的话会对w,b进行更新；

　　具体实现步骤：

　　1、梯度下降算法多次迭代，每次迭代判断所有训练样本是否包含误差点；

　　2、样本中存在误差点则对w,b进行更新；

　　3、当所有训练数据中没有误差点时结束；

转载于:https://www.cnblogs.com/blueyang/p/11551080.html