TensorFlow之BuildNet

学习记录

一个卷积神经网络项目，最重要的组成部分就是网络的构建。卷积的基本原理这里就不细说了，比较简单。今天针对遇到比较多的神经网路构建所需的函数，在这里做个归纳，这里先记录自己用到过的，其它的等遇到了再进行补充。

普通卷积层

在简单的神经网络框架中，卷积层一般由三部分组成：卷积，偏置，激活。

1. tf.nn.conv2d(input, filter, strides, padding, use_cudnn_on_gpu=None, data_format=None, name=None)
   tf.nn.conv2d在我看来应该属于是最简单的一个卷积函数了。，它会计算给定的4-D input和filter张量的2-D卷积。这个函数需要注意的是一些参数的结构和设置方式。
   input：输入要做卷积的图片，要求为一个张量，shape为[batch,height,width,channel]；
   filter：卷积核，要求也是一个张量，shape为[filter_height, filter_width,in_channel,out_channel]；
   padding：卷积填充形式。SAME’是考虑边界，不足的时候用0填充；’VALID’不考虑；
   Use_cudnn_on_gpu：bool类型，表示是否使用GPU加速；
   data_format：一个字符串，支持’NHWC’和’NCHW’。这个参数规定了input tensor和output tensor的排列形式，’NHWC’表示排列方式为[batch, height, width, channels]；’NCHW’表示排列方式为[batch, channels, height, width]；
   name：操作的名称（可选）。
   有一点需要注意的是，在使用此函数之前，必须先对filter进行变量的创建。我之前自己尝试着写代码的时候就出现过这个问题。

2. tf.nn.bias_add(value, bias, data_format=None, name=None)
   为卷积之后的张量添加偏置项。
   value：一个tensor，通常是卷积之后的输出值送至此处；
   bias：一个一维的tensor，其大小与value的最后一个维度匹配；
   data_format：一个字符串，支持’NHWC’和’NCHW’；
   name：操作的名称（可选）。
   在使用这个函数之前一样不要忘记对bias进行变量的创建。

3. tf.nn.relu(features, name=None)
   计算校正线性函数：max(features, 0)
   features：一个tensor
   name：操作的名称（可选）
   注：常用的激活函数还有：
   tf.nn.sigmoid(x, name=None)、
   tf.nn. tanh (x, name=None)
   tf.nn.leaky_relu(features, alpha=0.2, name=None)等

下面给出一段代码辅助理解。

import tensorflow as tf 
import numpy as np

# 这里自己生成一组全为1的数据方便后续对不同操作及其输出的观察
inputs = np.ones((1,5,5,4),dtype=np.float32)

# 通过get_variable的方式创建卷积权重。权重变量是一个四维矩阵，
# 前面两个维度代表了卷积核的尺寸，第三个