线性神经网络

线性神经网络和单层感知器的区别主要在于：感知器的传输函数只能输出两种可能的值，而线性神经网络可以输出任意值，其传输函数是线性函数

[外链图片转存失败,源站可能有防盗链机制,建议将图片保存下来直接上传(img-nhfe9NwC-1584019058490)(https://i.loli.net/2018/05/08/5af0f89347502.png)]
如图所示，线性神经网络可以产生二值输出(图中的$q$)和模拟输出(图中的$y$)

和感知器类似，先行神经网络的变量：
$x(n)=[1,x_1(n),x_2(n),...,x_N(n){]}^T$
$w(n)=[b(n),w_1(n),w_2(n),...,w_N(n){]}^T$
$b(n)=偏置$
$y(n)=实际输出=f(x(n{)}^{T}w)=x(n{)}^{T}w$
$d(n)=期望输出$
$\eta =学习率，0<\eta <1$
激活函数$f=purelin$(线性函数$y=x$)

LMS算法

线性神经网络的闪光之处在于其学习算法LMS。LMS算法只能训练单层网络。

第n次迭代的信号误差$$e(n)=d(n)-x^T(n)w(n)$$
对$w$求偏导可得$$\frac{\partial e(n)}{\partial w}=-x^T(n)$$
代价函数$$E(w)=\frac{1}{2}{e}^2(n)$$
对$w$求偏导可得$$\frac{\partial e(n)}{\partial w}=e(n)\frac{\partial e(n)}{\partial w}$$
综上可得$$\frac{\partial E}{\partial w}=-x^T(n)e(n)$$
因此，根据梯度下降法$$w(n+1)=w(n)+\eta (-\nabla )=w(n)+\eta (-\frac{\partial E}{\partial w})=w(n)+\eta x^T(n)e(n)$$

LMS算法中学习率的选择

确保收敛的学习率

1996年Hayjin证明只要学习率$\eta$满足$$0<\eta <\frac{2}{{\lambda }_{max}}$$LMS算法就是按方差收敛的。其中${\lambda }_{max}$是输入向量$x(n)$组成的自相关矩阵$R$的最大特征值。由于${\lambda }_{max}$常常不可知，往往用$R$的迹来代替$$tr(R)=\sum _{i=1}^{Q}R(i,i)$$
同时，矩阵的迹等于所有特征值之和，因此$tr(R)>{\lambda }_{max}$
只要取$0<\eta <\frac{2}{tr(R)}<\frac{2}{{\lambda }_{max}}$即可满足条件。
按定义，自相关矩阵的主对角线元素之和就是各输入向量的均方值，因此公式又可以写成$$0<\eta <\frac{2}{向量均方值之和}$$

学习率逐渐下降

学习初期，用较大的学习率保证收敛速度，随着迭代次数增加，减小学习率保证精度，确保收敛。

• $\eta =\frac{{\eta }_0}{n}$
• $\eta =c^n{\eta }_0,c接近1但小于1$
• $\eta =\frac{{\eta }_0}{1+\frac{n}{\tau }},n_0和\tau 均为常数$