《统计学习方法》看到第三遍,准备给大家分享一下感悟,已经一些算法的代码实现
首先来看下《统计学习方法》对感知机的定义
其实我们想象一下,就是一条线(直线<线性可分>,曲线都可以<非线性可分>),把空间一分为二,很容易理解。
f(x) 是一个激励函数,经过拟合的参数w,b计算,输入的x,然后就可以将X的空间分为{+1,-1}。
但是w,b什么时候达到最优呢?看下面的算法:
注意:yi 在程序中是update = self.eta * (yi - self.predict(xi))
做的,其实每次都是更新两个步长,比如eta设置为0.01 则更新的实际更新的时候是0.02
程序如下