机器学习-感知机

一.感知机的概念

感知机可以说是最古老的分类方法之一了，在1957年就已经提出。他的思考方法就是在平面画出一条直线，或者在空间画出一个平面，或者可以推广到更高维的向量空间画一个超平面，将两种不同的东西分开。感知机模型虽然古老、简单、基础，但是原理很重要，下一步再学习支持向量机，学习神经网络，深度学习。

二.感知机模型

感知机是一个二分类的线性模型，这个模型的输入是向量，输出是1或0（也可以理解为True或False），每一个向量有多个维度，将每一个维度都数值化，用xi来表示向量的一个维度。

这个模型进行二分的逻辑是这样的
为每一个维度设置相应的权重概念，代表重要程度，用w表示。
设置一个门限值threshold，作为分界线。
求每一个向量的各维度的加权和w1 x1+w2 x2 +…+ wn xn
如果Σwi xi >= threshold,则输出1
如果Σwi xi < threshold,则输出0
则得到感知机函数
h = sign(Σwi xi - threshold)
用x代表向量，w代表权重组成的向量，w x代表两个向量的内积
感知机函数简写为
h = sign(wx+ b)

sign(x)是一个取符号的函数，x>=0时，函数值为1，反之为-1。

三.感知机策略

模型确定了，下面就要求接触模型中的未知数。未知数包括有w1,w2,w3…wn,b。
例如可以用双输入的感知机做一个与门，w=[0.5,0.5]，b=-1。这个例子中决定参数的是人，这样做并没有什么可感觉厉害的。所以我们要设计学习算法，使计算机能够自动的调整权重与偏移。
感知机是一个有监督的学习算法，所以需要训练集（大量的向量数据以及正确标签）为了求得一个合适的超平面将数据分成两类，需要先确定一个计算损失的函数来表示超平面的靠谱程度，并尽量损失函数取最小值。
感知机选择的损失函数：是用误分类点到超平面S的总距离来表示。
空间中任意一个向量x到超平面的距离公式是：

其中||w||是向量2-范数
如果这个函数不好理解，可以对比二维坐标下的点到直线距离公式

最后，使用梯度下降法求能够使损失函数最小的解（w1，w2，…，b）。

四.感知机的局限

1.只能处理线性可分的问题。
2.需要人工选择特定的特征作为输入。

后面就发展出了 多层感知机 Multi-Layer Perception MLP