深度学习笔记11：利用numpy搭建一个卷积神经网络

欢迎关注天善智能，我们是专注于商业智能BI，人工智能AI，大数据分析与挖掘领域的垂直社区，学习，问答、求职一站式搞定！

对商业智能BI、大数据分析挖掘、机器学习，python，R等数据领域感兴趣的同学加微信：tsaiedu，并注明消息来源，邀请你进入数据爱好者交流群，数据爱好者们都在这儿。

作者简介：

鲁伟：一个数据科学践行者的学习日记。数据挖掘与机器学习，R与Python，理论与实践并行。

个人公众号：数据科学家养成记 （微信ID：louwill12）

配套学习视频教程： 手把手教你用Python 实践深度学习

前两个笔记笔者集中探讨了卷积神经网络中的卷积原理，对于二维卷积和三维卷积的原理进行了深入的剖析，对 CNN 的卷积、池化、全连接、滤波器、感受野等关键概念进行了充分的理解。本节内容将继续秉承之前 DNN 的学习路线，在利用 Tensorflow 搭建神经网络之前，先尝试利用 numpy 手动搭建卷积神经网络，以期对卷积神经网络的卷积机制、前向传播和反向传播的原理和过程有更深刻的理解。

单步卷积过程

     在正式搭建 CNN 之前，我们先依据前面笔记提到的卷积机制的线性计算的理解，利用 numpy 定义一个单步卷积过程。代码如下：

def conv_single_step(a_slice_prev, W, b):

   s = a_slice_prev * W    # Sum over all entries of the volume s.

   Z = np.sum(s)    # Add bias b to Z. Cast b to a float() so that Z results in a scalar value.

   Z = float(Z + b)    

   return Z

     在上述的单步卷积定义中，我们传入了一个前一层输入的要进行卷积的区域，即感受野 a_slice_prev ，滤波器 W，即卷积层的权重参数，偏差 b，对其执行 Z=Wx+b 的线性计算即可实现一个单步的卷积过程。

CNN前向传播过程：卷积

     正如 DNN 中一样，CNN 即使多了卷积和池化过程，模型仍然是前向传播和反向传播的训练过程。CNN 的前向传播包括卷积和池化两个过程，我们先来看如何利用 numpy 基于上面定义的单步卷积实现完整的卷积过程。卷积计算并不难，我们在单步卷积中就已经实现了，难点在于如何实现滤波器在输入图像矩阵上的的扫描和移动过程。

     这其中我们需要搞清楚一些变量和参数，以及每一个输入输出的 shape，这对于我们执行卷积和矩阵相乘至关重要。首先我们的输入是原始图像矩阵，也可以是前一层经过激活后的图像输出矩阵，这里以前一层的激活输出为准，输入像素的 shape 我们必须明确，然后是滤波器矩阵和偏差，还需要考虑步幅和填充，在此基础上我们基于滤波器移动和单步卷积搭建定义如下前向卷积过程：

def conv_forward(A_prev, W, b, hparameters):

"""

Arguments:

A_prev -- output activations of the previous layer, numpy array of shape (m, n_H_prev, n_W_prev, n_C_prev)

W -- Weights, numpy array of shape (f, f, n_C_prev, n_C)

b -- Biases, numpy array of shape (1, 1, 1, n_C)

hparameters -- python dictionary containing "stride" and "pad"

Returns:

Z -- conv output, numpy array of shape (m, n_H, n_W, n_C)

cache -- cache of values needed for the c