神经网络学习笔记 （四） BP神经网络

BP神经网络

前面我们所讲的几节都是线性神经网络，都无法解决线性不可分的问题，今天我们就来学习非常非常经典的非线性多层前向网络——误差反向传播网络（BP——Error Back Propagtion）。

BP神经网络和前面所说的线性神经网络有什么区别呢？

1.隐含层可以不唯一，这就大大提高了非线性能力。
2.隐含层节点不唯一，也就是一层可以有多节点连接。
3.隐含层的传输函数为sigmoid函数，而非普通的线性函数，输出层的传输函数为线性函数
4.引入多层误差调整，原有的单层误差传播无法解决多层误差的调整。
5.引入动量的概念，避免BP算法的缺点（陷入局部最小值）。

一、首先我们来了解一下什么是SIGMOID函数

在bp网络传输函数的选择中，首要的就是函数可微，也就是函数平滑。其次，我们需要找到一个函数在比较大的x值下有较小的梯度，防止函数直接震荡而无法收敛，并且，其值可以归一化在我们预期的二值之间。
比如我们取预期二值为0，1。那么我们就可以用一个函数满足上面这些条件。

函数：1/（1+exp（-x））

这个函数称为log-sigmoid函数
我们来看一下他的图像：

这个函数的特点是在数值很大的时候可以降低他们的梯度，而在数值较小的时候可以增加他们的梯度加快收敛速度。

同理，如果把函数归在（-1，1）下就有如下函数：

2/（1+exp（-2*n））-1

我们来看一下他的图像

二、解析多层的误差传播算法

如果想要误差从顶层向下传，那么每一层都要有y=wx+b这个函数式，然后对w利用梯度下降法做调整。

1.顶层也就是输出层，预期输出我们设为label，实际的输出层输出我们设为out2.
误差设为err：err=label-out2；
我们把误差代价函数设置为ed=1/2*(err^2);
梯度我们设为delta
学习率设置为sigma
隐含层输出为out1
隐含层权值为w2
那么权值迭代公式为：w2=w2 + sigma * delta;
这里未知量就是delta，delta就是代价函数对自变量w2的导数。
这里我们展开为链式求导。

d(ed)/d(w)=
[d(ed)/d(err)] * [d(err)/d(out2)] * [d(out2)/d(out2_temp)] * [d(out2_temp)/d(out1)]
因为传输函数在输出层是线性的，所以第三项为1。
=err * (-1) * 1 * out1;

2.上面的顶层还算简单，下面是隐含层的梯度
误差未知 我们设为errnon
输入层输入为input
输入层的权值为w1
权值迭代公式如下： w1=w1+sigma * delta;
这里的未知量还是delta，我们再次对他求导：
导数为-[d(errnon)/d(input)] * [d(out1)/d(out1_temp)]
第一项未知：所以只能利用上一层梯度造成权值变化的影响代替
所以第一项写为 ：err*w2
第二项为logsigmoid的导数。

最后迭代式如下：
w1 = w1 + sigma * err * w2 * dlogsig(out1_temp,out1) * input;

三、动量稳定收敛法

对迭代式加入动量因子：
deltaw=sigma * ( 1 - alpha ) * delta + alpha * deltaw_forward;
delta_forward是前一次迭代差；
alpha就是动量因子。

加入动量因子的变化：

1.当函数在大梯度时，需要更高的下降梯度，而我们的学习率是固定的，现在加入上一次的迭代改变量后，可以加大权值下降量，更快的收敛。

2.当函数在局部最小值而非全局最小值时，动量因子可以让梯度保持，减缓收敛速度，这就大大减小了陷入局部最小值的几率。

四、Matlab实现（非API）

第一步：读取一些数据，班上男女生的各科成绩作为data，男女性别作为label，寻找各科成绩与性别的关系。

function [data,label] = getdataxls( filename)
    data=xlsread(filename,'c3:l26');
    label=zeros(1,length(data(:,1)));

    for i=13:24
        label(i)=1;
    end

end

看一下这些毫无规律的数据

接下来需要将这些数据归一化到同一个单位下，并且对他们进行均值平移，方差归一化。
因为有b向量，所以我们要在最后一行加上全为一的维度。

function [ dataone ] = toone(data )
dataavg=sum((data'))/length(data(1,:));

for i=1:length(data(1,:))
    data(:,i)=data(:,i)-dataavg';
end

datastd=zeros(1,length(data(:,1)));
for i=1:length(data(:,1))
    datastd(i)=std(data(i,:));
    data(i,:)=data(i,:)/datastd(i);
end

dataone=[data;
    ones(1,length(data(1,:)))];


end

归一化后的数据

定义一些初始变量

maxiterator=10000;
eb=0.001;
sigma=0.1;  %学习率
alpha=0.8;  %动态因子

误差的迭代：

w2foward=net.w2;
w1foward=net.w1;

for i=1:maxiterator

    input1=net.w1*data;
    out1=logsig(input1);
    input2_temp=[out1;
        ones(1,length(out1(1,:)))];

    input2=net.w2*input2_temp;
    out2=input2;

    err=label-out2;err
    see=sumsqr(err);out2


    if see<eb
        break;
    end

    deltaw2=sigma*(1-alpha)*(err)*input2_temp'+alpha*w2foward;
    deltaw1=sigma*(1-alpha)*(net.w2(:,1:end-1)'*err.*dlogsig(input1,out1))*data'+alpha*w1foward;

    if i==1
        deltaw2=sigma*err*input2_temp';
        deltaw1=sigma*(net.w2(:,1:end-1)'*err.*dlogsig(input1,out1))*data';
    end

    net.w2=net.w2+deltaw2;
    net.w1=net.w1+deltaw1;



    w2foward=deltaw2;
    w1foward=deltaw1;

    if sumsqr(errf-err)<10^-5
        break;
    end




end

这时让我们来检测一下我们的正确率：

前12个应该为女生；后面的应该全部是男生；

[chdata,chlabel]=checkdata('成绩汇总.xlsx');

chdata=chdata';

chdata=toone(chdata);

chinput1=net.w1*chdata;
chout1=logsig(chinput1);
chinput2_temp=[chout1;
    ones(1,length(chout1(1,:)))];

chinput2=net.w2*chinput2_temp;

cherr=chlabel-chinput2;

ch=char(1,42);

for i=1:42
    if(chinput2(i)>0.5)
       ch(i)='男' ;
    else
        ch(i)='女';
    end

end

前12个女生：

后面的男生：

42个样本 错误的为5个

准确率在88%左右；

看一下误差迭代图：

结束语

BP神经网络对非线性拟合的比较好，并且加入了动量算法后变得更加的鲁棒，但是依然有因为初始权值不好而导致训练错误率非常高的情况，而这个问题已经在deeplearning中解决了很多，以后我们将更加深入的学习。