修改版Alexnet模型训练CIFAR10数据集程序的总结

最新推荐文章于 2024-08-01 14:05:32 发布

John_kai

最新推荐文章于 2024-08-01 14:05:32 发布

阅读量3.9k

点赞数

分类专栏：深度学习文章标签： tensorflow

本文链接：https://blog.csdn.net/John_kai/article/details/72783155

版权

本文总结了使用修改版Alexnet模型训练CIFAR10数据集的经验，强调了权重和偏置初始化、归一化处理、卷积核大小选择以及损失函数计算等方面的重要细节，提供了优化训练过程的实用技巧。

摘要由CSDN通过智能技术生成

                    
                    关于CIFAR10程序的一些经验总结 
在卷积层和全连接层中，设置权重和偏置时，推荐使用tf.get_variable()函数，好处是参数可重复使用，减小内存的占用，而且如果是导入别人的参数进行训练时，必须使用tf.get_variable()。
为了用tensorboard画出图来，在给每一层命名时，通常采用with tf.variable_scope('名字') as scope，tf.name_scope，区别在于：tf.variable_scope在每个参数前加一个前缀，使得参数独一无二，故与tf.get_variable()搭配使用，取得很好地效果；tf.name_scope没有在参数前加前缀，一般用于节点处的命名。
在对权重初始化时，使用初始化函数tf.contrib.layers.xavier_initialize()比较好，默认采用均值初始化，还有可选参数，可根据需要进行设置。常用的还有tf.truncated_normal_initializer(有参数)；对偏置初始化一般采用tf.constant_initializer(有参数)。
批量输入图片时，要对图片进行归一化tf.nn.batch_normalization(),原理为: