一 线性神经网络
与感知器的区别,感知器激活函数的输出只有两种可能(1,-1),线性神经网络的输出可取任意值,其激活函数是线性函数。线性神经网络采用LMS算法来调整网络的权值和偏置。
线性神经网络在结构上与感知器相似,但神经元激活函数不同。在模型训练时把sign函数改为purelin函数(y=x)。
二 LMS学习规则
LMS使神经元实际输出与期望输出之间的平方差最小
学习信号: y = x,没有sign
权向量调整量:
如果
与感知器的区别,感知器激活函数的输出只有两种可能(1,-1),线性神经网络的输出可取任意值,其激活函数是线性函数。线性神经网络采用LMS算法来调整网络的权值和偏置。
线性神经网络在结构上与感知器相似,但神经元激活函数不同。在模型训练时把sign函数改为purelin函数(y=x)。
LMS使神经元实际输出与期望输出之间的平方差最小
学习信号: y = x,没有sign
权向量调整量:
如果