最小均方算法

引用《神经网络与机器学习》一文中的一句话，“Rosenblatt感知器是解决线性可分模式分类问题的第一个学习算法，而最小均方算法（LMS）是第一个解决如预测和信道均等化等问题的线性自适应滤波算法。”

首先介绍LMS算法的优点：

1、算法编程简单；

2、计算复杂度是线性的故计算高效（相比于非线性）；

3、对于外部扰动来说，它是一个独立模型，它是鲁棒的。

缺点：

1、LMS算法的收敛速度慢，需要输入空间维数的10倍迭代次数才能达到稳定状态；

2、收敛行为对于输入向量x的相关矩阵中的条件数（最大特征值/最小特征值）非常敏感。

什么是最小均方算法呢？

根据    1/2（n时刻的误差信号）^2   代价函数

最小化代价函数：对权值向量求偏导，再对瞬时权值向量求偏导  

得到  瞬间估计g（我理解为瞬时权值项链的斜率）

最后写出LMS算法的公式：

（n+1）的瞬时向量 = n的瞬时向量+瞬间估计g*误差信号e

如何描述LMS算法的有效性呢？

通过维纳滤波器，在遍历过程中，观察样本无穷大时，线性最小二乘器趋向于维纳滤波器。它是一个线性最优滤波问题的维纳解。

迭代次数n的权值误差向量=w0-wn      w0是维纳解，wn是迭代n次的权值向量

通过马尔科夫模型描绘LMS与维纳滤波器的误差：

迭代次数（n+1）的权值误差向量=一个权值*迭代次数n的权值误差向量+附加的噪声项      “一个权值”“附加的噪声项”详见p64

LMS算法的最大优点，以及它的原理是什么呢？

最小均方算法的最大优点就是鲁棒性。

这里先介绍郎之万方程：

主要可以理解为粘滞铃中分子作用于粒子的总驱动由两个部分组成，

1、依据Stoke定律的等于-av(t)的阻尼力，其中a是摩擦系数

2、涨落力F(t) 

这两个力合成合力。

该郎之万方程的特殊形式就是马尔可夫模型。

依据郎之万方程的特点，从定性上讲，算法围绕维纳解执行布朗运动来描述。

故说明该LMS方程具有鲁棒性。

该文章为《神经网络与机器学习》读后感