感知机理论简述

 

感知机是机器学习的入门算法。

 

 

感知机模型：f(x)=sign(w*x+b)

x为输入值，f(x)是输出值。w为权重，表示各个输入输入对输出的重要程度。b叫做偏置值，用来调整整体结果和阈值之间的关系。sign为符号函数，一般取x>=0,sign(x)=1;x<0,sign(x)=-1.

 

 

对于感知机模型的参数w，b，往往不能直接确定，所以需要定义一个“损失函数”，用于求输出结果和预期结果的偏差，以纠正参数w，b。

感知机f(x)=sign(w*x+b)的损失函数：L（w,b）=-Σyi(w*xi+b)

 

 

<xi,yi>为第i组的输入和输出，(w*xi+b)是当前模型根据xi做出的预测值，yi是xi对应的真实值。

当一个样本被分类正确时，阈值为0，预测值和真实值都大于0或小于0，此时输出值是负值。反之，分类错误时输出值是正值。所以损失函数的最小值即为分类正确最多的点。

在求目标函数即确定参数w，b的过程中往往需要用到梯度下降法。

 

 

 

详细可参阅张天欣论文《感知机理论研究综述》