把RNN封装成一个函数

2017-11-26 20:31

         RNN(反馈式神经网络)，即前面构建的那几个网络。由于它们都是反复使用相同的方法构建的神经网络，既费力又费时，鉴于每次构建的基本步骤都一样，于是我把构建的操作函数化，只要提供相应的参数，让计算机自动生成合适的神经网络。
        代码在最后，封装成的函数命名为“RNN”， 共有5个参数：
        RNN( X , Y , M , ALPHA , L)
        X指定输入层，目前只支持一位数组,默认为[0]；
        Y指定理想值，一维数组，默认为[0]；
        M指定训练次数，默认为0；
        ALPHA指定学习率（步长），默认为0.5；
        L是网络层数即每层的单元数，是一维数组，默认为[0]，比如L=[10,5,4,3,2]，指定隐含层有5层，每层的神经元数量分别为10、5、4、3、2，加上输入输出（X和Y），这样神经网络就有7层。
        w、b的取值均为随机数。
        使用tanh函数为激活函数，运行结果表明，tanh的确比sigma函数效果更好：
                激活函数：f(x)=tanh(x)；它的导数：f'(x)=1-tanh(x)*tanh(x)
                激活函数：sigma(x)=1/(1+e^(-x))；它的导数：sigma'(x)=sigma(x)*(1-sigma(x))
现在，尝试比较一下现在函数化的神经网络和之前构建的网络，假设输入层x=[10,20,30]；y=0.23：
使用之前的四层神经网络，RNN()配置成和它一样的结构，运行结果如下：

（上面为原四层神经网络，下面为RNN()）
可以看出，使用了tanh函数的RNN()要比之前使用sigma函数的网络训练结果更好，收敛更快。但运行时间比后者略长。
训练50次后：

（上面为原四层神经网络，下面为RNN()）
它俩都是相同的网络结构，只是激活函数不同，可见运行结果是有很大差别的，通过i进一步测试表明，偏置b取得小一点比较好，在上面的测试中，当b<0.5时，会取得不错的效果，alpha值适宜取0.1~10。
代码如下：
（因为文本在qq日志中不容易显示出python语法缩进的特点，于是改用图片显示）