【机器学习】感知机

参考

华为云学院

概述

感知机接收多个信号，然后输出一个信号，是最简单的网络结构。由美国学者Frank Rossanblatt在1957年提出。每个输入信号具有一定的权重，计算多个输入信号的值与权重的乘积和，根据结果与指定的阈值进行比较，来决定该神经元是否被激活。

公式

感知机的计算方法：

激活函数：

感知机在解决问题的时候，会寻找一个超平面将该空间下的数据分隔开。

损失函数

感知机的损失函数期望将所有误分类的数据到超平面的距离之和最小。感知机的损失函数公式如下：

梯度下降

由于感知机是针对的是误分类的数据，使它们到超平面的距离最小，所以不适合使用批量梯度下降法。感知机选择的是随机梯度下降，这意味着我们每次仅仅需要使用一个误分类样本来更新梯度，如果预测准确，权重不进行更新，否则增加权重。

实现步骤

感知机无法解决XOR问题。一般在原有数据空间中线性不可分的问题，都会加入非线性部分，或映射到更高的维度（如SVM）来处理。