机器学习-感知机

一.感知机的概念

感知机可以说是最古老的分类方法之一了，在1957年就已经提出。他的思考方法就是在平面画出一条直线，或者在空间画出一个平面，或者可以推广到更高维的向量空间画一个超平面，将两种不同的东西分开。感知机模型虽然古老、简单、基础，但是原理很重要，下一步再学习支持向量机，学习神经网络，深度学习。

二.感知机模型

感知机是一个二分类的线性模型，这个模型的输入是向量，输出是1或0（也可以理解为True或False），每一个向量有多个维度，将每一个维度都数值化，用xi来表示向量的一个维度。

这个模型进行二分的逻辑是这样的
为每一个维度设置相应的权重概念，代表重要程度，用w表示。
设置一个门限值threshold，作为分界线。
求每一个向量的各维度的加权和w1 x1+w2 x2 +…+ wn xn
如果Σwi xi >= threshold,则输出1
如果Σwi xi < threshold,则输出0
则得到感知机函数
h = sign(Σwi xi - threshold)
用x代表向量，w代表权重组成的向量，w x代表两个向量的内积
感知机函数简写为
h = sign(wx+ b)

sign(x)是一个取符号的函数，x>=0时，函数值为1，反之为-1