感知机(Perceptron)
线性分类问题(Linear Classification)
说起单层感知机,首先要从线性二分类问题谈起。什么是线性二分类问题呢,首先数据在数据空间中应该是线性可分的,即可用一条直线(在几何空间中应为超平面)把不同类的数据分割开,而这条直线(超平面)就叫做决策边界(Decision Boundary)。其次数据空间中数据的类别数应为两种,而这两种类别通常被称为正例(positive)和反例(negative)。
决策边界的表达式:
判定决策结果:
为了计算的简便,我们通常在特征向量前加入一个虚拟特征(dummy feature),并在权重向量前加入一个,这样我们就可以在决策边界的表达式中省去偏差(bias)这一项。此时我们的决策边界表达式变为:
感知机学习规则
在感知机中,我们通常把正例和反例表示为1和-1,因为这种表达形式更有利于推导感知机的学习规则,看完下面的内容你就会明白为什么。现在我们的决策结果表达式变为:
对于分类模型,我们如何判断模型分类的结果和真正的类别是否一致呢?需要用到下面的关系:。对于任一和原数据标签,若判定结果与数据标签相同,则两者相乘恒大于零,否则两者恒小于零。利用这一关系,若