对于 a XOR b ,其真值表为:
a | b | y |
0 0 1 1 | 0 1 0 1 | 0 1 1 0 |
从数据集线性可分性的角度证明XOR逻辑是非线性的:
设数据集T为:
其中:
则
注:这里的大于小于零与y的取值无关,它与参考系有关,表示两个类别,所以也并不要求y的取值是正1和负1.
对上式进行化简
四个式子相互之间是矛盾的,所以异或逻辑是非线性问题,得证。
另外,感知机的学习策咯是极小化误分类点到超平面S的总距离,即经验风险最小化。对于线性不可分数据集,由于总是存在误分类点,算法将不能够收敛。事实上,最后的迭代(随机梯度下降)将发生震荡,证明过程见Novikoff定理。
异或逻辑图像
综上所述:单层感知机不能表示异或逻辑。
参考资料:《统计学习方法》 李航