Widrow-Hoff算法(也就是Adaline算法)可用于线性回归,能收敛到最小二乘解,和感知器算法相似。其算法如下:
给定训练集S和学习率η∈R+
Widrow-Hoff算法的原始形式:
w0←0;b0←0,(xi,1)表示向量
重复
for i=1 to m:
(w,b)←(w,b)-η(<w·xi>+b-yi)(xi,1)
end for
直到收敛条件被满足
返回(w,b)
当w0=0,b0=0时,(w,b)=∑ηαi(xi,1)
Widrow-Hoff算法的对偶形式:
(α1,α2,...,αm)=(0,0,0,...,0),(xi,1)表示向量 重复 for i=1 to m: αi←αi-{[∑ηαj(xj,1)]·(xi,1)-yi} end for 直到收敛条件被满足 返回(α1,α2,...,αm)
参考资料: