Widrow-Hoff算法的原始及对偶形式

Widrow-Hoff算法（也就是Adaline算法）可用于线性回归，能收敛到最小二乘解，和感知器算法相似。其算法如下：

给定训练集S和学习率η∈R⁺

 

Widrow-Hoff算法的原始形式：

	w0←0；b0←0，(xi,1)表示向量
	重复
		for i=1 to m:
			(w,b)←(w,b)-η(<w·xi>+b-yi)(xi,1)
		end for
	直到收敛条件被满足
	返回(w,b)

 

当w₀=0，b₀=0时，(w,b)=∑ηα_i(x_i,1)

Widrow-Hoff算法的对偶形式：

	(α1,α2,...,αm)=(0,0,0,...,0)，(xi,1)表示向量
	重复
		for i=1 to m:
			αi←αi-{[∑ηαj(xj,1)]·(xi,1)-yi}
		end for
	直到收敛条件被满足
	返回(α1,α2,...,αm)

 参考资料：

Introduction to Machine Learning and Soft Computing