最简单的三层神经网络Matlab实现

人工神经网络(Artificial Neural Network, ANN)[1]具有很广的应用。理论上来说，采用多层的神经网络能够逼近任何的连续函数，而不管该函数是否平滑。自从SVM出现后，大家都快忘了还有ANN这种东东。但是近几年随着deep learning技术的兴起，大牛们又重新开始关注神经网络了。在这里，演示一种个人认为最简单的三层神经网络。它包含一个输入层（即数据本身），一个中间层（又称隐含层,hidden layer), 和一个输出层。其中，输入层的大小即为数据的维度，中间层大小可调，输出层只包括一个神经元。当该神经元输出接近1时，判断为第一类，输出为0时判断为第二类。所有激活函数均采用sigmoid函数:

神经网络的训练最常用的方法是误差反传播(back-propagation, BP)，本质上其实是梯度下降算法。其推导过程需要用到高数中的链式法则(chain rule)，在此不作推导，只在代码中给出结果。有不明白的小盆友可以发email给我。训练部分的代码如下：

%function output = ANN_Training(X, t, H, max_iter)
%Train ANN with one hidden layer and one output unit for classification


%input :
%X:  attributes. Every column represents a sample.
%y:  target. should be 0 or 1.  length(y) == size(X,2) is assumed.
%H: size of hidden layer.
%max_iter: maximum iterates
%tol: convergence tolerate


%output:
% output: a structure containing all network parameters.


%Created by Ranch Y.Q. Lai on Mar 22, 2011
%[email protected]