神经网络与机器学习 笔记—LMS（最小均方算法）和学习率退火

神经网络与机器学习 笔记—LMS（最小均方算法）和学习率退火

LMS算法和Rosenblatt感知器算法非常想，唯独就是去掉了神经元的压制函数，Rosenblatt用的Sgn压制函数，LMS不需要压制函数，两者一样是只有单个神经元。

LMS算法信号流图

 

算法小结：

然后在说下退火：

 

#pragma once

#include "stdafx.h"

#include <string>

#include <iostream>

using namespace std;



int gnM = 0;      //训练集空间维度

int gnN = 0;      //突触权值个数



double gdU0 = 0.1;  //初始学习率参数，用于退火，前期可以较大

double gdT = 1;  //控制退火用的开始降温的时间点

double gdN = 0;  //当前工作时间（神经网络学习次数）



//退火

//U=U0/(1+(N/T))

double GetNowU() {

gdN++;