下午看到一篇介绍用tensorflow实现残差网络的博文,原文在此:https://blog.csdn.net/qq_29462849/article/details/80744522#commentsedit
运行了代码,精度很低,仔细查看了代码,量比较大,由于刚看了吴恩达老师的相关课程,对这一块印象比较深,发现了一个问题,在残差模块的最后一个卷积层,也就是输出卷积层,该博主将输出和快捷连接的值相加后又加了一个偏置值,这一点在吴老师的数学推导中并没有提到,因为快捷链接是插到了最后一个卷积层的线性操作和非线性操作之间,那么直接对二者的和做ReLU就可以了,加偏置是没有必要的,经过这一点的改良后,精度大幅度提高,原来训练3000次精度为11.35%,而现在则提高到了95.19%,来看代码:
#tensorflow基于mnist数据集上的VGG11网络,可以直接运行
from tensorflow.examples.tutorials.mnist import input_data
import tensorflow as tf
import os
#tensorflow基于mnist实现VGG11
mnist = inp