问题背景:昨天了解清除了AlexNet的原理部分,今天着手看看代码。BTW,我是参考别人的文章,不算原创,不过文中会有很多我自己的见解与补充,算是做个笔记吧。
原文链接:
https://blog.csdn.net/taoyanqi8932/article/details/71081390 @yqtaowhu的
首先还是PO一下AlexNet的网络结构:
@yqtaowhu使用的是CPU运行,怕耗时太久,因此只定义网络结构,并进行前向后向的测试.
# 此函数为输出当前层的参数(层名称、输出尺寸)
def print_activations(t): #输入为tensor
print(t.op.name, ' ', t.get_shape().as_list())
#此函数为搭建AlexNet的函数
def inference(images):
"""Build the AlexNet model.
Args:
images: Images Tensor
Returns:
pool5: the last Tensor in the convolutional component of AlexNet. #返回conv_5中池化后的结果
parameters: a list of Tensors corresponding to the weights and biases of the AlexNet model. #返回权重和偏差列表
"""
parameters = []
# conv1
with tf.name_scope('conv1') as scope:# 将scope内生成的Variable自动命名为conv1/xxx,区分不同卷积层之间的组件。
kernel = tf.Variable(tf.truncated_normal([11, 11, 3, 96],dtype=tf.float32,stddev=1e-1), name='weights') #conv1的核是11*11,3是输入channel数(后面的函数run_benchmark()中指定了image的channel是3),96是输出channel数.stddev标准差0.1
conv = tf.nn.conv2d(images, kernel, [1, 4, 4, 1], padding='SAME')
biases = tf.Variable(tf.constant(0.0, shape=[96],dtype=tf.float32),trainable=True, name='biases') #初始化biases,一维向量,96个元素,全为0
bias = tf.nn.bias_add(conv, biases) #把初始biases加到conv
conv1 = tf.nn.relu(bias, name=scope) #计算relu
print_activations(conv1) #输出当前层参数
parameters += [kernel, biases] #更新权重和偏差
# lrn1 没有用LRN层
# TODO(shlens, jiayq): Add a GPU version of local response normalization.
# 考虑到LRN层效果不明显,而且会让forward和backwood的速度大大下降所以在此没有添加