lms算法的verilog实现_最小均方算法（LMS Algorithm）理论及DSP实现

LMS算法可认为是机器学习里面最基本也比较有用的算法，神经网络中对参数的学习使用的就是LMS的思想，在通信信号处理领域LMS也非常常见，比如自适应滤波器。

本文主要对LMS(Least Mean Square)算法进行简单的整理，包括内容：

(1)理论上介绍基于LMS的梯度下降算法(包括BACH/STOCHASTIC)，给出一个matlab的实现

(2)DSP上的实现，主要使用C语言

1. LMS算法理论

问题引出

因为本人感兴趣的领域为机器学习，因此这里先说明下学习的过程，给定这样一个问题：某地的房价与房地面积和卧室的数量之间成如下表的关系，

Living area (feet2)       #bedrooms          Price (1000$s)

2104                              3                           400

1600                              3                           330

2400                              3                           369

1416                              2                           232

3000                              4                           540

据此，我们要通过分析上面的数据学习出一个模型，用于预测其它情况(比如面积2000,卧室数5)的房价。这就是一个学习问题，更简洁的说，就是一个概率里的回归问题。这里固定几个符号：x表示输入([Living area，bedrooms])，y表示输出(Price)，h表示要学习的模型，m表示输入每个数据维度(这里是2)，n表示输入数据的个数(这里是5)。

该学习过程的可以描述如下图，

.

h必定与面积和卧室数相关，.这里不考虑复杂的情况，假设模型是线性的(实际其它问题中很可能是其它关系模型，比如exp)

.

.令x1=1，则

。这里，我们考虑上面的房价问题，还是将w0忽略。

为了获得h(x)，现在的问题是什么呢？那就是：怎样获得h(x)的w1~w2的值。

我们再对问题进行描述：

已知——上面的数据表格，线性模型(不知道参数)

求解——参数w1~w2

引入一个函数，叫损失函数

就是最小二乘法中计算误差的函数，只是前面添加了1/2，表示什么意思呢？损失函数越小，说明模型与当前已知数据的拟合程度越好，否则越差。因此，求解w1~w2的