标签(空格分隔): 机器学习基石
感知器 perceptron
h(x)=sign⎛⎝⎜(∑i=1dwixi)+(−threshold)w0⋅(+1)x0⎞⎠⎟=sign(∑i=0dwixi)=sign(w⊤x)
第一课就解释了这个感知器模型
perceptron learning algorithm (PLA)
知错能改学习法!
(1)find a mistake
sign(w⊤txn(t))≠yn(t)
(2)correct the mistake
wt+1←wt+yn(t)xn(t) (2)
想问问,怎样使直线旋转的,通过改变 w ???不明白,PPT上还画了那么多的图。。。
习题:说明这个更新的规则真的有修正作用
两边同乘 ynxn
公式(2)变成,
wt+1ynxn←wtynxn+(yn(t)xn(t))2
故有:
wt+1⩾wt
为了证明PLA,确实有“修正”,以及可以“终止”的两个性质
主要利用“两个向量的内积越大,两个向量越相似,而且,向量内积的最大值只能是1”
w⊤fwt+1>w⊤fwt+0
wt+1 和 wf 的内积比之前大,证明这两个向量越相似,越逼近;但是向量内积最大值是1,故PLA一定会halt(停止)!!
w⊤f∥wf∥wT∥wT∥⩾T−−√⋅constant
习题:没看懂
PLA优点:适合多维
PLA缺点:不适合非线性可分的情况,不知道收敛时间
用PLA处理noise问题是N-P问题
引入Pocket Algorithm:抓一条最好的线,不停的更换,不是同PLA一样没错,而是错最少!速度比PLA慢!