Tensorflow使用Mobilenet实现CIFAR-10十分类(2)

最新推荐文章于 2024-07-26 09:00:48 发布

我是小蚂蚁

最新推荐文章于 2024-07-26 09:00:48 发布

阅读量3.7k

点赞数 2

分类专栏： tensorflow Tensorflow学习笔记文章标签： mobilenet batch_normalization python tensorflow bn

本文链接：https://blog.csdn.net/missyougoon/article/details/86549404

版权

本文介绍了在Mobilenet模型中加入Batch Normalization (BN) 层来改善CIFAR-10十分类问题的过拟合情况。通过详细说明BN的使用步骤，并对比训练和测试阶段的不同设置，展示了添加BN后的模型在训练10万次后，正确率从0.69提升到0.72，证明了BN的有效性。

摘要由CSDN通过智能技术生成

前言

数周之前，有网友在博客（Mobilenet实现CIFAR-10十分类）下留言，说Mobilenet训练cifar10出现了过拟合，我这里倒是没有出现这种情况，考虑到之前写的代码比较粗糙，单纯的以重构模型为主，没有什么优化，没有图像增强，训练次数也不足，最后的正确率也算高。这两天趁着碎片时间，把之前写过的代码重新整理一下。

Mobilenet的完善

在上一篇博文的代码中是没有添加batch_normalization的，既然是要完善，还是按标准模型添加上BN层。在第一次代码修改之后，训练正常，然而测试的时候出现异常，每次测试正确率只有百分之十左右，显然是代码写的有问题。这里重新整理一下BN的用法：
使用tf.layers.batch_normalization()需要三步：

在卷积层将激活函数设置为None。
使用batch_normalization。
使用激活函数激活。

需要特别注意的是：在训练时，需要将第二个参数training = True。在测试时，将training = False。
同时，在降低loss时候时候：

    update_ops = tf.get_collection(tf.GraphKeys.UPDATE_OPS)
    with tf.control_dependencies(update_ops):
        train_op = tf.train.AdamOptimizer(1e-3).minimize(loss) # 将 损失函数 降到 最低

BN更多用法，请参考：tensorflow中batch normalization的用法

加入BN后的Mobilenet

import tensorflow as tf
import  os
import numpy as np
import pickle

# 文件存放目录
CIFAR_DIR = "./cifar-10-batches-py"


def load_data( filename ):
    '''read data from data file'''
    with open( filename, 'rb' ) as f:
        data = pickle.load( f, encoding='bytes' ) # python3 需要添加上encoding='bytes'
        return data[b'data'], data[b'labels'] # 并且 在 key 前需要加上 b

class CifarData:
    def __init__( self, filenames, need_shuffle ):
        '''参数1:文件夹 参数2:是否需要随机打乱'''
        all_data = []
        all_labels = []

        for filename in filenames:
            # 将所有的数据,标签分别存放在两个list中
            data, labels = load_data( filename )
            all_data.append( data )
            all_labels.append( labels )

        # 将列表 组成 一个numpy类型的矩阵!!!!
        self._data = np.vstack(all_data)
        # 对数据进行归一化, 尺度固定在 [-1, 1] 之间
        self._data = self._data / 127.5 - 1
        # 将列表,变成一个 numpy 数组
        self._labels = np.hstack( all_labels )
        # 记录当前的样本 数量
        self._num_examples = self._data.shape[0]
        # 保存是否需要随机打乱
        self._need_shuffle = need_shuffle
        # 样本的起始点
        self._indicator = 0
        # 判断是否需要打乱
        if self._need_shuffle:
            self._shffle_data()

    def _shffle_data( self ):
        # np.random.permutation() 从 0 到 参数,随机打乱
        p = np.random.permutation( self._num_examples )
        # 保存 已经打乱 顺序的数据
        self._data