深入剖析神经网络的运行机理及实现

随着大数据和机器硬件水平的提升，神经网络特别是深度神经网络现在是大火特火。因为目前的深度学习模型都是基于神经网络进行的改进和加深，所以要想对深度学习有一些较深入的研究，先熟悉和了解人工神经网络是非常有帮助的。

本文基于神经网络实现一个手写体数字识别模型，此处使用的数据集为sklearn自带的digit数据，只要装了sklearn就可以直接获得。

1、手写体人工神经网络模型

图（一），mnist手写体数字识别网络结构，见【参考一】

神经网络是一个判别模型，它会利用训练集学到一个从输入到输出的映射关系，结构上可以分为输入层、隐藏层和输出层，如上图。输入层用于接收数据的输入，通过隐藏层的处理，最后经输出层转换得到输出。

上图为基于mnist数据集画的一个神经网络模型，因为mnist一张图片为28*28=784，故输入层有784个神经元。而digit的图片为8*8=64，故digit数据集的输入层有64个神经元，也就是说我们将要实现的神经网络输入层有64个神经元，要简单很多。

神经网络的性能如何，隐层的设计非常关键，隐藏层是设计用来自动学习特征的，通过这些学到的特征来进行最后一层的分类任务，那它会学到什么东西呢？在手写体数字识别中，大概会学到这样的特征：

图（二）

再具体一点就是，该图中的隐层我们共设置了15个神经元，每一个神经元存储的都是学来的特征，假设前四个神经元是用来考察手写数字是否满足以下这四个特征，


图（三）

有了隐层学到的这些东西，那么对它进行组合判断就很容易得到输出了，例如发现上面的四个特征均被激活，则如我们所知，其有很大的概率表示数字0。

2、运行机理及实现

在有监督学习中，模型会分为训练阶段和预测阶段，在训练阶段将模型中的待定参数学习出来，然后用在预测阶段，就好像我们初中求解带参方程$ax+b=y$一样，首先通过已知条件把方程中的参数给求解出来，然后再利用求出来的参数计算给定$x$下的$y$值。

在神经网络的训练阶段，主要包括以下几步：
（1）加载训练集；
（2）前向传导，将信息传递给输出层；
（3）利用标注信息和代价函数来计算代价；
（4）通过反向传播代价函数梯度来更新每一层中的参数
其简单实现的整体代码如下：

#coding=utf-8
'''
Created on Jul 20, 2016
'''
import numpy as np
import random
from sklearn import datasets
class Network(object):
    def __init__(self,sizes):
        '''
        parameters:
            sizes中保存了神经网络各层神经元个数
        functions:
                            对神经网络层与层之间的连接参数进行初始化
        '''
        #权重矩阵
        self.weights = [np.random.randn(y,x) for x,y in zip(sizes[:-1],sizes[1:])]
        #偏置矩阵
        self.biases = [np.random.randn(x) for x in sizes[1:]]

    def init_parameters(self,parameters):
        '''
            functions:初始化模型参数
            parameters主要包括:
                epochs:迭代次数
                mini_batch_size:批处理大小
                eta:学习率
                nnLayers_size:神经网络层数
        '''
        self.epochs = parameters.get("epochs")
        self.mini_batch_size = parameters.get("mini_batch_size")
        self.eta = parameters.get("eta")
        self.nnLayers_size = parameters.get("nnLayers_size")

    def load_data(self):
        '''
            functions:加载数据集，这里使用的是sklearn自带的digit手写体数据集
        '''
        digits = datasets.load_digits()
        return digits.data, digits.target

    def feed_forword(self,data):
        '''
            parameters: 
                data:输入的图片表示数据，是一个一维向量
            functions:前向传导，将输入传递给输出，y = w*x + b
            return:传递到输出层的结果
        '''
        for w, b in zip(self.weights, self.biases):
            z = np.dot(w,data) + b
            data = self.sigmoid(z)
        return data

    def sigmoid(self,z):
        '''
            functions:sigmoid函数
        '''
        return 1.0/(1.0+np.exp(-z))

    def crossEntrop(self,a, y):
        '''
            parameters:
                a:预测值
                y:真实值
            functions:交叉熵代价函数f=sigma(y*log(1/a))
        '''
        return np.sum(np.nan_to_num(-y*np.log(a)-(1-y)*np.log(1-a)))

    def delta_crossEntrop(self,z,a,y):
        '''
            parameters:
                z:激活函数变量
                a:预测值
                y:真实值
        '''
        return self.sigmoid(z) - y

    def SGD(self,data):
        '''
            function:随即梯度下降算法来对参数进行更新
            parameters:
                data:数据集
        '''
        #数据集大小
        data_len = len(list(data))
        for _ in range(self.epochs):
            #将数据集按照指定大小划分成小的batch进行梯度训练，mini_batchs中的每个元素相当于一个小的样本集<