机器学习1——感知机

1.感知机干什么？

求出二元分类的分离超平面，将实例划分为正负两类，属于判别模型。

ps:是神经网络和支持向量机的基础。

2.感知机是什么？

其中x是n维特征向量，对应于输入控件的点，输出y表示实例的类别，为+1或-1。

（ps:sign是符号函数）

几何解释：

w·x+b=0  —— 对应于特征空间的一个超平面，w为超平面的法向量，b为超平面的截距。

3.感知机怎么学？

定义损失函数然后将其最小化 

感知机的损失函数：

正比于所有误分类点到超平面S的距离： 

任意一点x0到超平面S的距离（貌似初高中讲过）：

4.感知机有两种形式

①原始形式

感知机学习算法是误分类驱动的，采用随机梯度下降：

首先，任意选取一个超平面w0，b0。损失函数梯度：

然后，随机选取一个误分类点，对w，b进行更新：

其中，η为步长，也就是学习率。

最后，不断迭代使损失函数不断减小，直到为0。

②对偶形式

基本想法：将w和b表示为实例xi和标记yi的线性组合形式，通过求解其系数儿求得w，b。