感知机是机器学习的入门算法。
感知机模型:f(x)=sign(w*x+b)
x为输入值,f(x)是输出值。w为权重,表示各个输入输入对输出的重要程度。b叫做偏置值,用来调整整体结果和阈值之间的关系。sign为符号函数,一般取x>=0,sign(x)=1;x<0,sign(x)=-1.
对于感知机模型的参数w,b,往往不能直接确定,所以需要定义一个“损失函数”,用于求输出结果和预期结果的偏差,以纠正参数w,b。
感知机f(x)=sign(w*x+b)的损失函数:L(w,b)=-Σyi(w*xi+b)
<xi,yi>为第i组的输入和输出,(w*xi+b)是当前模型根据xi做出的预测值,yi是xi对应的真实值。
当一个样本被分类正确时,阈值为0,预测值和真实值都大于0或小于0,此时输出值是负值。反之,分类错误时输出值是正值。所以损失函数的最小值即为分类正确最多的点。
在求目标函数即确定参数w,b的过程中往往需要用到梯度下降法。
详细可参阅张天欣论文《感知机理论研究综述》