MATLAB神经网络编程（二）——线性神经网络

《MATLAB神经网络编程》 化学工业出版社 读书笔记
第四章 前向型神经网络 4.2 线性神经网络

本文是《MATLAB神经网络编程》书籍的阅读笔记，其中涉及的源码、公式、原理都来自此书，若有不理解之处请参阅原书。

（一）简介
线性神经网络是最简单的一种神经网络，可以由一个或者多个线性神经元组成。20世纪50年代由Widrow和Hoff提出的自适应线性元(Adaptive Linear Element,Adaline)是线性神经网络最早最典型的代表。

线性神经网络与感知器的区别在于：线性神经网络的神经元传递函数是线性函数，因此线性神经网络的输出可以取任意值，而感知器的输出只可能是0或者1。

线性神经网络在收敛速度与精度上都比感知器要高，但是同感知器一样，线性神经网络只能解决线性分离问题。

感知器的每一个输入都有一个输出与之相对应。参照输出向量与期望输出向量的差别，调整网络的权值跟阈值，使得训练误差的平方和最小或者小于一定值，这种学习规则就是Widrow-Hoff学习规则，称为LMS(Least Mean Square)算法。

（二）线性神经网络的模型

1，神经元模型。
从网络结构看，与感知器结构类似，不同的神经元的传递函数是线性传递函数purelin.

purelin函数的结构：