注:在TensorFlow的GitHub代码库上可以找到完整的Inception-v3模型的源码(网址为https://github.com/tensorflow/tensorflow/blob/master/tensorflow/contrib/slim/python/slim/nets/inception_v3.py)
直接使用TensorFlow原始API实现一个卷积层:
with tf.variable_scope(scope_name):
weights = tf.get_variable("weight", [CONV_SIZE, CONV_SIZE, IMG_CHANNEL, CONV_DEEP],
initializer=tf.truncated_normal_initializer(stddev=0.1))
biases = tf.get_variable("bias", [CONV_DEEP], initializer=tf.constant_initializer(0.0))
conv = tf.nn.conv2d(INPUT, weights, [1, 1, 1, 1], padding='SAME')
relu = tf.nn.relu(tf.nn.bias_add(conv, biases))
若使用TensorFlow-Slim实现,可以在一行中实现一个卷积层的前向传播算法:
slim = tf.contrib.slim
# slim.conv2d函数有3个参数是必填的。第一个参数为输入节点矩阵,第二个参数是当前卷积层过滤器的深度,第三个参数是过滤器的尺寸。
# 可选的参数有过滤器移动的步长、是否使用全0填充、激活函数的选择以及变量的命名空间等
net = slim.conv2d(input, 32, [3, 3])
以下代码是使用TensorFlow-Slim对复杂的一个Inception模块的实现:
import tensorflow as tf
slim = tf.contrib.slim
# slim.grg_scope函数可以用于设置默认的参数取值,第一个参数是一个函数列表,在这个列表中的函数将使用默认的参数取值
# 例如调用slim.conv2d(net, 320, [1, 1])函数时会自动加上stride=1和padding='SAME'的参数
# 如果在函数调用时制定了stride,这里设置的默认值就不会再使用
with slim.arg_scope([slim.conv2d, slim.max_pool2d, slim.avg_pool2d], stride=1, padding='SAME'):
net = 上一层输出节点矩阵
# 为一个Inception模块声明一个统一的变量命名空间
with tf.variable_scope('Mixed_7c'):
# 给Inception模块中每一条路径声明一个命名空间
with tf.variable_scope('Branch_0'):
# 实现一个过滤器边长为1,深度为320的卷积层
branch_0 = slim.conv2d(net, 320, [1, 1], scope='Conv2d_0a_1x1')
# Inception模块中第二条路径,这条计算路径上的结构本身也是一个Inception结构
with tf.variable_scope('Branch_1'):
branch_1 = slim.conv2d(net, 384, [1, 1], scope='Conv2d_0a_1x1')
# tf.concat函数可以将多个矩阵拼接起来
# tf.concat函数的第一个参数指定了拼接的维度,这里给出的3代表了矩阵是在深度这个维度上进行拼接,可以看为z轴
branch_1 = tf.concat(3, [
slim.conv2d(branch_1, 384, [1, 3], scope='Conv2d_0c_1x3'),
slim.conv2d(branch_1, 384, [3, 1], scope='Conv2d_0c_3x1')
])
# Inception模块中第三条路径,此计算路径也是一个Inception结构
with tf.variable_scope('Branch_2'):
branch_2 = slim.conv2d(net, 448, [1, 1], scope='Conv2d_0a_1x1')
branch_2 = slim.conv2d(branch_2, 384, [3, 3], scope='Conv2d_0b_3x3')
branch_2 = tf.concat(3, [
slim.conv2d(branch_2, 384, [1, 3], scope='Conv2d_0c_1x3'),
slim.conv2d(branch_2, 384, [3, 1], scope='Conv2d_0c_3x1')
])
# Inception模块中第四条路径
with tf.variable_scope('Branch_3'):
branch_3 = slim.avg_pool2d(net, [3, 3], scope='Avgpool_0a_3x3')
branch_3 = slim.conv2d(branch_3, 192, [1, 1], scope='Conv2d_0b_1x1')
# 当前Inception模块的最后输出是由上面四个计算结果拼接得到的
net = tf.concat(3, [branch_0, branch_1, branch_2, branch_3])