关于TensorFlow实现卷积神经网络的一些记录

看了吴恩达的深度学习视频，跟着课后作业编写了一个卷积神经网络用来识别手势数字

关于卷积神经网络的概念以及算法就不多赘述了，主要梳理一下变成过程中的主要思路

0x01 要编写的神经网络的结构

X -> conv2d(卷积一次) ->Relu(非线性函数) ->Max_pool(最大池化) -> conv2d -> Relu -> Max_pool -> 一维化转换 -> FC(全连接层) -> softmax  -> y_hat

从输入x到最终输出y_hat， 中间使用两次卷积、Relu以及最大池化，经过一维转换后进行全连接，因为是多分类，最终使用softmax输出

0x02 TensorFlow编程实现

TensorFlow主要涉及到了几个步骤：

1. 读取数据集，并做相关预处理

2. 创建占位符，用于存储处理好的数据集

3. 根据网络结构实现向前传播，计算代价

4. 向后传播最小化代价

5. 创建神经网络模型

6. 多次迭代，计算训练集以及测试集精确度

0x03 创建神经网络模型步骤

创建的神经网络模型主要分为以下几个步骤：
1. 初始化所有要用到的参数，包括学习率（learning_rate）、迭代次数（epoch_num）、每次迭代代价（costs）、分块大小（minibatch_size）、随机种子（seed）、分块数量(minibatch_num)、图片大小(m,n_H0,n_W0, n_C0), 匹配数量(n_y) 具体代码如下：

def model(X_train, Y_train, X_test, Y_test, learning_rate=0.009, 
          num_epochs=100, minibach_size=64, print_cost=True, isPlot=True):
    ops.reset_default_graph()
    tf.set_random_seed(1)
    seed = 3
    (m, n_H0, n_W0, n_C0) = X_train.shape
    n_y = Y_train.shape[1]
    costs = []

2.创建网络结构 ：占位符 初始化参数 向前传播 计算代价 向后传播最小化代价 

X, Y = create_placeholders(n_H0, n_W0, n_C0, n_y)

parameters = initialize_parameters()

Z3 = forward_propagation(X, parameters)

cost = compute_cost(Z3, Y)

optimizer = tf.train.AdamOptimizer(learning_rate=learning_rate).minimize(cost)

 3. 创建Session任务

     初始化所有变量 -》实现每次迭代 -》计算总代价 -》画图 -》计算精确度

     每次迭代&#