回答贴：关于LMS算法步长范围推导

最陡下降法矢量迭代公式：
$$\mathbf{w}(\mathbf{n}+1)=\mathbf{w}(\mathbf{n})+\mu (-\nabla (n))$$
其中梯度$\nabla =\mathbf{R}\mathbf{w}(\mathbf{n})-\mathbf{P}$代入上式：
$$\mathbf{w}(\mathbf{n}+1)=\mathbf{w}(\mathbf{n})-2\mu (\mathbf{R}\mathbf{w}(\mathbf{n})-\mathbf{P})$$
而梯度为零的地方为为维纳解$w^{\ast }=\mathbf{P}/\mathbf{R}$
所以：
$$\begin{array}{rl}\mathbf{w}(\mathbf{n}+1)& =\mathbf{w}(\mathbf{n})-2\mu \mathbf{R}(\mathbf{w}(\mathbf{n})-{\mathbf{w}}^{\ast })\\ & =[\mathbf{I}-2\mathbf{\mu }\mathbf{R}]w(n)+2\mu R{w}^{\ast }\end{array}$$
由于上式$w(n)$的系数矩阵不是对角阵(不是对角阵的话求解矩阵方程计算量会很大)，所以这里我把$w$坐标系通过平移和旋转变成主轴坐标$v^{\prime }$，所以：
$${\mathbf{v}}^{\prime }(\mathbf{n}+1)=[\mathbf{I}-2\mathbf{\mu }\mathbf{\Lambda }]{\mathbf{v}}^{\prime }(\mathbf{n}+)$$
重点来了，通过标量迭代推导：
$${\mathbf{v}}^{\prime }(\mathbf{n}+1)=[\mathbf{I}-2\mathbf{\mu }\mathbf{\Lambda }{]}^n{\mathbf{v}}^{\prime }(0)$$
通过观察上式，系数矩阵是一个$n$次幂阵，为了使算法稳定，而不会因为迭代次数爆炸，所以：
$$\underset{n\to \infty }{\lim }[\mathbf{I}-2\mathbf{\mu }\mathbf{\Lambda }{]}^n=0$$
或者写成标量表达：
$$\underset{n\to \infty }{\lim }[1-2\mu {\lambda }_k{]}^n=0$$
所以：
$$|1-2\mu {\lambda }_k|<1,k=0,1,\dots$$
终于推导出来了
$$0<\mu <{\lambda }_{max}^{-1}$$
上式中，${\lambda }_{max}$是$\mathbf{R}$最大特征值。