《MATLAB神经网络编程》 化学工业出版社 读书笔记
第四章 前向型神经网络 4.2 线性神经网络
本文是《MATLAB神经网络编程》书籍的阅读笔记,其中涉及的源码、公式、原理都来自此书,若有不理解之处请参阅原书。
(一)简介
线性神经网络是最简单的一种神经网络,可以由一个或者多个线性神经元组成。20世纪50年代由Widrow和Hoff提出的自适应线性元(Adaptive Linear Element,Adaline)是线性神经网络最早最典型的代表。
线性神经网络与感知器的区别在于:线性神经网络的神经元传递函数是线性函数,因此线性神经网络的输出可以取任意值,而感知器的输出只可能是0或者1。
线性神经网络在收敛速度与精度上都比感知器要高,但是同感知器一样,线性神经网络只能解决线性分离问题。
感知器的每一个输入都有一个输出与之相对应。参照输出向量与期望输出向量的差别,调整网络的权值跟阈值,使得训练误差的平方和最小或者小于一定值,这种学习规则就是Widrow-Hoff学习规则,称为LMS(Least Mean Square)算法。
(二)线性神经网络的模型
1,神经元模型。
从网络结构看,与感知器结构类似,不同的神经元的传递函数是线性传递函数purelin.
purelin函数的结构: