什么是LMS算法（Least mean square）

物流公共

于 2019-02-18 20:52:23 发布

阅读量3.4k

点赞数

本文链接：https://blog.csdn.net/uytrrfg/article/details/87645266

版权

LMS（Least Mean Square）算法是机器学习和通信信号处理中的基础方法，常用于自适应滤波器。它基于梯度下降思想，通过迭代更新参数来优化问题。了解LMS算法有助于理解神经网络参数学习和TensorFlow的优化器工作原理。

摘要由CSDN通过智能技术生成

LMS算法可认为是机器学习里面最基本也比较有用的算法，神经网络中对参数的学习使用的就是LMS的思想，在通信信号处理领域LMS也非常常见，比如自适应滤波器。

其它就是利用梯度下降的算法来实现的，具体推导如下：

最后这条公式，就是LMS算法的实现基础，可以使用python代码实现如下：

import numpy as npimport randomfrom matplotlib import pyplot as plt# m是点的数量def gradientDescent(x, y, theta, alpha, m, numIterations):    #矩阵转置    xTrans = x.transpose()    cost = None    for i in range(0, numIterations):        #点积        hypothesis = np.dot(x, theta)        #计算最小平方数        loss