感知机学习

看了李航的《统计学习方法》，下面是一些笔记。

感知机

1.感知机模型

模型：f(x) = sign(w*x+b)，w,b为向量

为什么选择的是这个函数而非别的函数呢？

当w*x+b=0时，f(x)=0；

当w*x+b!=0时， f(x)!=0;

此时可以用w*x+b=0来较好的划分函数的类别。

2.策略：①选择误分类比较多的点，不是连续可导，不好优化；②选择距离超平面：w*x+b=0比较近的距离，这样的点误差小。

 

3.算法：

①原始形式：

(1)初始化w,b；

(2)从测试集中选取数据；

(3)如果y(w*x+b)<=0，更新w,b的值w = w+n*x*y,b= b+n*y

(4)转回(2)

②对偶形式：

对偶形式就是在原来的形式上修整w,b的值；

4.感知机的优缺点分析：

①优点：

②缺点：