基于飞桨图像分类套件PaddleClas的柠檬分类竞赛实战

最新推荐文章于 2023-03-14 16:16:09 发布
最新推荐文章于 2023-03-14 16:16:09 发布
阅读量1.4k 收藏 9
点赞数 3
分类专栏： 飞桨炼丹童子的成长之路 文章标签： paddlepaddle 计算机视觉 深度学习
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/lxm12914045/article/details/116121890
版权

前情提要

  通过之前教程中的学习，相信大家对于如何搭建一个分类网络已经清晰了。那么我们不禁会想，有没有更快速的尝试模型及技巧的方法呢？因为我们在上一次课程中使用的代码都需要自己进行开发，自己写需要很多的精力。PaddleClas作为飞桨的一个图像分类套件，已经为大家把所有的内容都写好了，只需要大家选择模型、并适配自己的数据集即可。

基于飞桨图像分类套件PaddleClas的柠檬分类竞赛实战

PaddleClas 是什么？

  PaddleClas是飞桨为工业界和学术界所准备的一个图像分类任务的工具集，助力使用者训练出更好的视觉模型和应用落地。PaddleClas提供了基于图像分类的模型训练、评估、预测、部署全流程的服务，方便大家更加高效地学习图像分类。

下面将从PaddleClas模型库概览、初级使用、高级使用几个方面介绍PaddleClas实践方法：

  1. PaddleClas模型库概览：概要介绍PaddleClas有哪些分类网络结构。
  2. PaddleClas柠檬竞赛实战：重点介绍数据增广方法。

PaddleClas模型库概览

  图像分类模型有大有小，其应用场景各不相同，在云端或者服务器端应用时，一般情况下算力是足够的，更倾向于应用高精度的模型，我们称之为服务器端模型；在手机、嵌入式等端侧设备中应用时，受限于设备的算力和内存，则对模型的速度和大小有较高的要求，我们称之为移动端模型（端侧轻量化模型）。PaddleClas同时提供了服务器端模型与端侧轻量化模型来支撑不同的应用场景。

  这里我们使用MobileNetV2模型，因为它在预测速度和性能上都具有很大的优势，而且符合我们此次竞赛实战的要求，用户可以根据预测耗时的要求选择不同的网络。此外，PaddleClas也开源了预训练模型，我们可以基于此在自己的数据集上进行微调，提升效果。

更多模型详细介绍和模型训练技巧，可查看PaddleClas模型库文档以及PaddleClas分类套件

前置条件（安装）

  1. 安装Python3.5或更高版本版本。
  2. 安装PaddlePaddle 1.7或更高版本，具体安装方法请参见快速安装。由于图像分类模型计算开销大，推荐在GPU版本的PaddlePaddle下使用PaddleClas。
  3. 下载PaddleClas的代码库。
cd path_to_clone_PaddleClas

以下二者任选其一
git clone https://github.com/PaddlePaddle/PaddleClas.git
git clonehttps://gitee.com/paddlepaddle/PaddleClas.git
  1. 安装Python依赖库。Python依赖库在requirements.txt中给出。（本地）
pip install --upgrade -r requirements.txt
  1. 设置PYTHONPATH环境变量（本地）
export PYTHONPATH=path_to_PaddleClas:$PYTHONPATH

PaddleClas初级使用

PaddleClas快速上手

一、准备数据集

PaddleClas数据准备文档提供了ImageNet1k数据集以及flowers102数据集的准备过程。当然，如果大家希望使用自己的数据集，则需要至少准备以下两份文件。

  • 训练集图像，以图像文件形式保存。
  • 训练集标签文件，以文本形式保存，每一行的文件都包含文件名以及图像标签，以空格隔开。下面给出一个示例。
ILSVRC2012_val_00000001.JPEG 65
...

如果需要在训练的时候进行验证，则也同时需要提供验证集图像以及验证集标签文件。

以训练集配置为例，配置文件中对应如下

TRAIN: # 训练配置
    batch_size: 32 # 训练的batch size
    num_workers: 4 # 每个trainer(1块GPU上可以视为1个trainer)的进程数量
    file_list: "./dataset/flowers102/train_list.txt" # 训练集标签文件，每一行由"image_name label"组成
    data_dir: "./dataset/flowers102/" # 训练集的图像数据路径
    shuffle_seed: 0 # 数据打散的种子
    transforms: # 训练图像的数据预处理
        - DecodeImage: # 解码
            to_rgb: True
            to_np: False
            channel_first: False
        - RandCropImage: # 随机裁剪
            size: 224
        - RandFlipImage: # 随机水平翻转
            flip_code: 1
        - NormalizeImage: # 归一化
            scale: 1./255.
            mean: [0.485, 0.456, 0.406]
            std: [0.229, 0.224, 0.225]
            order: ''
        - ToCHWImage: # 通道转换

其中file_list即训练数据集的标签文件，data_dir是图像所在的文件夹。

!cd data/data71799/ && unzip -q lemon_lesson.zip
!cd data/data71799/lemon_lesson && unzip -q train_images.zip
!cd data/data71799/lemon_lesson && unzip -q test_images.zip

import pandas as pd
import codecs
import os
from PIL import Image

df = pd.read_csv('data/data71799/lemon_lesson/train_images.csv')

all_file_dir = 'work'

train_file = codecs.open(os.path.join(all_file_dir, "train_list.txt"), 'w')
eval_file = codecs.open(os.path.join(all_file_dir, "eval_list.txt"), 'w')

image_path_list = df['id'].values
label_list = df['class_num'].values

# 划分训练集和校验集
all_size = len(image_path_list)
train_size = int(all_size * 0.8)
train_image_path_list = image_path_list[:train_size]
train_label_list = label_list[:train_size]
val_image_path_list = image_path_list[train_size:]
val_label_list = label_list[train_size:]

image_path_pre = '/home/aistudio/data/data71799/lemon_lesson/train_images'

for file,label_id in zip(train_image_path_list, train_label_list):
    # print(file)
    # print(label_id)
    try:
        img = Image.open(os.path.join(image_path_pre, file))
        
        # train_file.write("{0}\0{1}\n".format(os.path.join(image_path_pre, file), label_id))
        train_file.write("{0}{1}{2}\n".format(file,' ', label_id))
        # eval_file.write("{0}\t{1}\n".format(os.path.join(image_path_pre, file), label_id))
    except Exception as e:
        pass
        # 存在一些文件打不开，此处需要稍作清洗
        # print('error!')

for file,label_id in zip(val_image_path_list, val_label_list):
    # print(file)
    # print(label_id)
    try:
        img = Image.open(os.path.join(image_path_pre, file))
        # train_file.write("{0}\t{1}\n".format(os.path.join(image_path_pre, file), label_id))
        eval_file.write("{0}{1}{2}\n".format(file,' ', label_id))
    except Exception as e:
        # pass
        # 存在一些文件打不开，此处需要稍作清洗
        print('error!')

train_file.close()
需要稍作清洗
        print('error!')

train_file.close()
eval_file.close()

/opt/conda/envs/python35-paddle120-env/lib/python3.7/importlib/_bootstrap.py:219: RuntimeWarning: numpy.ufunc size changed, may indicate binary incompatibility. Expected 216, got 192
  return f(*args, **kwds)
/opt/conda/envs/python35-paddle120-env/lib/python3.7/importlib/_bootstrap.py:219: RuntimeWarning: numpy.ufunc size changed, may indicate binary incompatibility. Expected 216, got 192
  return f(*args, **kwds)

三、模型训练与评估

PaddleClas 提供模型训练与评估脚本：tools/train.py和tools/eval.py

3.1 模型训练

按照如下方式启动模型训练。

python tools/train.py \
    -c configs/quick_start/MobileNetV3_large_x1_0_finetune.yaml

输出日志示例如下：

epoch:0    train    step:13    loss:7.9561    top1:0.0156    top5:0.1094    lr:0.100000    elapse:0.193

可以通过添加-o参数来更新配置：

python tools/train.py \
    -c configs/quick_start/MobileNetV3_large_x1_0_finetune.yaml \
    -o pretrained_model="" \
    -o use_gpu=True

输出日志示例如下：

epoch:0    train    step:522    loss:1.6330    lr:0.100000    elapse:0.210

也可以直接修改模型对应的配置文件更新配置。

3.2 模型评估
python tools/eval.py \
    -c ./configs/quick_start/MobileNetV3_large_x1_0_finetune.yaml \
    -o pretrained_model="./output/MobileNetV3_large_x1_0/best_model/ppcls"\
    -o load_static_weights=False

可以更改configs/eval.yaml中的ARCHITECTURE.name字段和pretrained_model字段来配置评估模型，也可以通过-o参数更新配置。

注意： 加载预训练模型时，需要指定预训练模型的前缀，例如预训练模型参数所在的文件夹为output/ResNet50_vd/19，预训练模型参数的名称为output/ResNet50_vd/19/ppcls.pdparams，则pretrained_model参数需要指定为output/ResNet50_vd/19/ppcls，PaddleClas会自动补齐.pdparams的后缀。

四、模型推理

首先，对训练好的模型进行转换：

python tools/infer/infer.py \
    -i 待预测的图片文件路径 \
    --model MobileNetV3_large_x1_0 \
    --pretrained_model "./output/MobileNetV3_large_x1_0/best_model/ppcls" \
    --use_gpu True \
    --load_static_weights False

更多的参数说明可以参考https://github.com/PaddlePaddle/PaddleClas/blob/master/tools/infer/predict.py中的parse_args函数。

更多关于服务器端与端侧的预测部署方案请参考：https://www.paddlepaddle.org.cn/documentation/docs/zh/advanced_guide/inference_deployment/index_cn.html

PaddleClas高阶使用

图像增广

ImageNet1k数据集包含128W张图片，即使不加其他策略训练，一般也能获得很高的精度，而在大部分实际场景中，都无法获得这么多的数据，这也会导致训练结果很差，通过一些数据增广的方式去扩充训练样本，可以增加训练样本的丰富度，提升模型的泛化性能。PaddleClas开源了8种数据增广方案。包括图像变换类、图像裁剪类以及图像混叠类。经过实验验证，ResNet50模型在ImageNet数据集上, 与标准变换相比，采用数据增广，识别准确率最高可以提升1%。


下面这个流程图是图片预处理并被送进网络训练的一个过程，需要经过解码、随机裁剪、水平翻转、归一化、通道转换以及组batch，最终训练的过程。


  1. 图像变换类：图像变换类是在随机裁剪与翻转之间进行的操作，也可以认为是在原图上做的操作。主要方式包括AutoAugment和RandAugment，基于一定的策略，包括锐化、亮度变化、直方图均衡化等，对图像进行处理。这样网络在训练时就已经见过这些情况了，之后在实际预测时，即使遇到了光照变换、旋转这些很棘手的情况，网络也可以从容应对了。
  2. 图像裁剪类：图像裁剪类主要是在生成的在通道转换之后，在图像上设置掩码，随机遮挡，从而使得网络去学习一些非显著性的特征。否则网络一直学习很重要的显著性区域，之后在预测有遮挡的图片时，泛化能力会很差。主要方式包括：CutOut、RandErasing、HideAndSeek、GridMask。这里需要注意的是，在通道转换前后去做图像裁剪，其实是没有区别的。因为通道转换这个操作不会修改图像的像素值。
  3. 图像混叠类：组完batch之后，图像与图像、标签与标签之间进行混合，形成新的batch数据，然后送进网络进行训练。这也就是图像混叠类数据增广方式，主要的有Mixup与Cutmix两种方式。

知识点 迁移学习

什么是迁移学习？为什么要用迁移学习

  迁移学习，对于人类来说，就是掌握举一反三的学习能力。比如我们学会骑自行车后，学骑摩托车就很简单了；在学会打羽毛球之后，再学打网球也就没那么难了。对于计算机而言，所谓迁移学习，就是能让现有的模型算法稍加调整即可应用于一个新的领域和功能的一项技术。

  迁移学习(Transfer learning) 顾名思义就是就是把已学训练好的模型参数迁移到新的模型来帮助新模型训练。考虑到大部分数据或任务是存在相关性的，所以通过迁移学习我们可以将已经学到的模型参数（也可理解为模型学到的知识）通过某种方式来分享给新模型从而加快并优化模型的学习效率不用像大多数网络那样从零学习（starting from scratch，tabula rasa）。

  那么我们为什么需要使用迁移学习呢？当你想将一个神经网络应用到一个没有充足数据的新领域当中，同时又有一个巨大的预先训练的数据池可以迁移到你的新任务中的时候，迁移学习将是很有用的。
比如，你可能只有1000张马的图片，但是通过改写一个现成的CNN（例如ResNet，该神经网络已经接受了超过100万张图片的训练），你就能够获得许多底层级和中层级的特征定义。

在自己的数据集上训练分类模型时，更推荐加载预训练进行微调。

预训练模型使用以下方式进行下载。

python tools/download.py -a ResNet50_vd -p ./pretrained -d True

更多的预训练模型可以参考这里：https://paddleclas.readthedocs.io/zh_CN/latest/models/models_intro.html

一、数据增广

在图像分类任务中，图像数据的增广是一种常用的正则化方法，常用于数据量不足或者模型参数较多的场景。在本章节中，我们将对除 ImageNet 分类任务标准数据增广外的8种数据增广方式进行简单的介绍和对比，用户也可以将这些增广方法应用到自己的任务中，以获得模型精度的提升。这8种数据增广方式在ImageNet上的精度指标如下所示。

二、常用数据增广方法

如果没有特殊说明，本章节中所有示例为 ImageNet 分类，并且假设最终输入网络的数据维度为：[batch-size, 3, 224, 224]

其中 ImageNet 分类训练阶段的标准数据增广方式分为以下几个步骤：

  1. 图像解码：简写为 ImageDecode
  2. 随机裁剪到长宽均为 224 的图像：简写为 RandCrop
  3. 水平方向随机翻转：简写为 RandFlip
  4. 图像数据的归一化：简写为 Normalize
  5. 图像数据的重排，[224, 224, 3] 变为 [3, 224, 224]：简写为 Transpose
  6. 多幅图像数据组成 batch 数据，如 batch-size 个 [3, 224, 224] 的图像数据拼组成 [batch-size, 3, 224, 224]：简写为 Batch

相比于上述标准的图像增广方法，研究者也提出了很多改进的图像增广策略，这些策略均是在标准增广方法的不同阶段插入一定的操作，基于这些策略操作所处的不同阶段，我们将其分为了三类：

  1. 对 RandCrop 后的 224 的图像进行一些变换: AutoAugment，RandAugment
  2. 对Transpose 后的 224 的图像进行一些裁剪: CutOut，RandErasing，HideAndSeek，GridMask
  3. 对 Batch 后的数据进行混合: Mixup，Cutmix

增广后的可视化效果如下所示。

具体如下表所示：

变换方法输入输出Auto-
Augment[1]		Rand-
Augment[2]		CutOut[3]Rand
Erasing[4]		HideAnd-
Seek[5]		GridMask[6]Mixup[7]Cutmix[8]
Image
Decode		Binary(224, 224, 3)
uint8		YYYYYYYY
RandCrop(:, :, 3)
uint8		(224, 224, 3)
uint8		YYYYYYYY
Process(224, 224, 3)
uint8		(224, 224, 3)
uint8		YY------
RandFlip(224, 224, 3)
uint8		(224, 224, 3)
float32		YYYYYYYY
Normalize(224, 224, 3)
uint8		(3, 224, 224)
float32		YYYYYYYY
Transpose(224, 224, 3)
float32		(3, 224, 224)
float32		YYYYYYYY
Process(3, 224, 224)
float32		(3, 224, 224)
float32		--YYYY--
Batch(3, 224, 224)
float32		(N, 3, 224, 224)
float32		YYYYYYYY
Process(N, 3, 224, 224)
float32		(N, 3, 224, 224)
float32		------YY

PaddleClas中集成了上述所有的数据增广策略，每种数据增广策略的参考论文与参考开源代码均在下面的介绍中列出。下文将介绍这些策略的原理与使用方法，并以下图为例，对变换后的效果进行可视化。为了说明问题，本章节中将 RandCrop 替换为 Resize。

三、图像变换类

图像变换类指的是对 RandCrop 后的 224 的图像进行一些变换，主要包括

  • AutoAugment
  • RandAugment

3.1 AutoAugment

论文地址：https://arxiv.org/abs/1805.09501v1

开源代码github地址：https://github.com/DeepVoltaire/AutoAugment

不同于常规的人工设计图像增广方式，AutoAugment 是在一系列图像增广子策略的搜索空间中通过搜索算法找到的适合特定数据集的图像增广方案。针对 ImageNet 数据集，最终搜索出来的数据增广方案包含 25 个子策略组合，每个子策略中都包含两种变换，针对每幅图像都随机的挑选一个子策略组合，然后以一定的概率来决定是否执行子策略中的每种变换。

PaddleClas中AutoAugment的使用方法如下所示。

from ppcls.data.imaug import DecodeImage
from ppcls.data.imaug import ResizeImage
from ppcls.data.imaug import AutoAugment
from ppcls.data.imaug import transform

size = 224

decode_op = DecodeImage()
resize_op = ResizeImage(size=(size, size))
autoaugment_op = ImageNetPolicy()

ops = [decode_op, resize_op, autoaugment_op]

imgs_dir = 图像路径
fnames = os.listdir(imgs_dir)
for f in fnames:
    data = open(os.path.join(imgs_dir, f)).read()
    img = transform(data, ops)

结果如下图所示。

3.2 RandAugment

论文地址：https://arxiv.org/pdf/1909.13719.pdf

开源代码github地址：https://github.com/heartInsert/randaugment

AutoAugment 的搜索方法比较暴力，直接在数据集上搜索针对该数据集的最优策略，其计算量很大。在 RandAugment 文章中作者发现，一方面，针对越大的模型，越大的数据集，使用 AutoAugment 方式搜索到的增广方式产生的收益也就越小；另一方面，这种搜索出的最优策略是针对该数据集的，其迁移能力较差，并不太适合迁移到其他数据集上。

在 RandAugment 中，作者提出了一种随机增广的方式，不再像 AutoAugment 中那样使用特定的概率确定是否使用某种子策略，而是所有的子策略都会以同样的概率被选择到，论文中的实验也表明这种数据增广方式即使在大模型的训练中也具有很好的效果。

PaddleClas中RandAugment的使用方法如下所示。

from ppcls.data.imaug import DecodeImage
from ppcls.data.imaug import ResizeImage
from ppcls.data.imaug import RandAugment
from ppcls.data.imaug import transform

size = 224

decode_op = DecodeImage()
resize_op = ResizeImage(size=(size, size))
randaugment_op = RandAugment()

ops = [decode_op, resize_op, randaugment_op]

imgs_dir = 图像路径
fnames = os.listdir(imgs_dir)
for f in fnames:
    data = open(os.path.join(imgs_dir, f)).read()
    img = transform(data, ops)

结果如下图所示。

四、图像裁剪类

图像裁剪类主要是对Transpose 后的 224 的图像进行一些裁剪，并将裁剪区域的像素值置为特定的常数（默认为0），主要包括：

  • CutOut
  • RandErasing
  • HideAndSeek
  • GridMask

图像裁剪的这些增广并非一定要放在归一化之后，也有不少实现是放在归一化之前的，也就是直接对 uint8 的图像进行操作，两种方式的差别是：如果直接对 uint8 的图像进行操作，那么再经过归一化之后被裁剪的区域将不再是纯黑或纯白（减均值除方差之后像素值不为0）。而对归一后之后的数据进行操作，裁剪的区域会是纯黑或纯白。

上述的裁剪变换思路是相同的，都是为了解决训练出的模型在有遮挡数据上泛化能力较差的问题，不同的是他们的裁剪方式、区域不太一样。

4.1 Cutout

论文地址：https://arxiv.org/abs/1708.04552

开源代码github地址：https://github.com/uoguelph-mlrg/Cutout

Cutout 可以理解为 Dropout 的一种扩展操作，不同的是 Dropout 是对图像经过网络后生成的特征进行遮挡，而 Cutout 是直接对输入的图像进行遮挡，相对于Dropout对噪声的鲁棒性更好。作者在论文中也进行了说明，这样做法有以下两点优势：(1) 通过 Cutout 可以模拟真实场景中主体被部分遮挡时的分类场景；(2) 可以促进模型充分利用图像中更多的内容来进行分类，防止网络只关注显著性的图像区域，从而发生过拟合。

PaddleClas中Cutout的使用方法如下所示。

from ppcls.data.imaug import DecodeImage
from ppcls.data.imaug import ResizeImage
from ppcls.data.imaug import Cutout
from ppcls.data.imaug import transform

size = 224

decode_op = DecodeImage()
resize_op = ResizeImage(size=(size, size))
cutout_op = Cutout(n_holes=1, length=112)

ops = [decode_op, resize_op, cutout_op]

imgs_dir = 图像路径
fnames = os.listdir(imgs_dir)
for f in fnames:
    data = open(os.path.join(imgs_dir, f)).read()
    img = transform(data, ops)

结果如下图所示。

4.2 RandomErasing

论文地址：https://arxiv.org/pdf/1708.04896.pdf

开源代码github地址：https://github.com/zhunzhong07/Random-Erasing

RandomErasing 与 Cutout 方法类似，同样是为了解决训练出的模型在有遮挡数据上泛化能力较差的问题，作者在论文中也指出，随机裁剪的方式与随机水平翻转具有一定的互补性。作者也在行人再识别（REID）上验证了该方法的有效性。与Cutout不同的是，在RandomErasing中，图片以一定的概率接受该种预处理方法，生成掩码的尺寸大小与长宽比也是根据预设的超参数随机生成。

PaddleClas中RandomErasing的使用方法如下所示。

from ppcls.data.imaug import DecodeImage
from ppcls.data.imaug import ResizeImage
from ppcls.data.imaug import ToCHWImage
from ppcls.data.imaug import RandomErasing
from ppcls.data.imaug import transform

size = 224

decode_op = DecodeImage()
resize_op = ResizeImage(size=(size, size))
randomerasing_op = RandomErasing()

ops = [decode_op, resize_op, tochw_op, randomerasing_op]

imgs_dir = 图像路径
fnames = os.listdir(imgs_dir)
for f in fnames:
    data = open(os.path.join(imgs_dir, f)).read()
    img = transform(data, ops)
    img = img.transpose((1, 2, 0))

结果如下图所示。

4.3 HideAndSeek

论文地址：https://arxiv.org/pdf/1811.02545.pdf

开源代码github地址：https://github.com/kkanshul/Hide-and-Seek

HideAndSeek论文将图像分为若干块区域(patch)，对于每块区域，都以一定的概率生成掩码，不同区域的掩码含义如下图所示。

PaddleClas中HideAndSeek的使用方法如下所示。

from ppcls.data.imaug import DecodeImage
from ppcls.data.imaug import ResizeImage
from ppcls.data.imaug import ToCHWImage
from ppcls.data.imaug import HideAndSeek
from ppcls.data.imaug import transform

size = 224

decode_op = DecodeImage()
resize_op = ResizeImage(size=(size, size))
hide_and_seek_op = HideAndSeek()

ops = [decode_op, resize_op, tochw_op, hide_and_seek_op]

imgs_dir = 图像路径
fnames = os.listdir(imgs_dir)
for f in fnames:
    data = open(os.path.join(imgs_dir, f)).read()
    img = transform(data, ops)
    img = img.transpose((1, 2, 0))

结果如下图所示。

4.4 GridMask

论文地址：https://arxiv.org/abs/2001.04086

开源代码github地址：https://github.com/akuxcw/GridMask

作者在论文中指出，此前存在的基于对图像 crop 的方法存在两个问题，如下图所示：

  1. 过度删除区域可能造成目标主体大部分甚至全部被删除，或者导致上下文信息的丢失，导致增广后的数据成为噪声数据；
  2. 保留过多的区域，对目标主体及上下文基本产生不了什么影响，失去增广的意义。

因此如果避免过度删除或过度保留成为需要解决的核心问题。

GridMask是通过生成一个与原图分辨率相同的掩码，并将掩码进行随机翻转，与原图相乘，从而得到增广后的图像，通过超参数控制生成的掩码网格的大小。

在训练过程中，有两种以下使用方法：

  1. 设置一个概率p，从训练开始就对图片以概率p使用GridMask进行增广。
  2. 一开始设置增广概率为0，随着迭代轮数增加，对训练图片进行GridMask增广的概率逐渐增大，最后变为p。

论文中验证上述第二种方法的训练效果更好一些。

PaddleClas中GridMask的使用方法如下所示。

from data.imaug import DecodeImage
from data.imaug import ResizeImage
from data.imaug import ToCHWImage
from data.imaug import GridMask
from data.imaug import transform

size = 224

decode_op = DecodeImage()
resize_op = ResizeImage(size=(size, size))
tochw_op = ToCHWImage()
gridmask_op = GridMask(d1=96, d2=224, rotate=1, ratio=0.6, mode=1, prob=0.8)

ops = [decode_op, resize_op, tochw_op, gridmask_op]

imgs_dir = 图像路径
fnames = os.listdir(imgs_dir)
for f in fnames:
    data = open(os.path.join(imgs_dir, f)).read()
    img = transform(data, ops)
    img = img.transpose((1, 2, 0))

结果如下图所示。

五、图像混叠

图像混叠主要对 Batch 后的数据进行混合，包括：

  • Mixup
  • Cutmix

前文所述的图像变换与图像裁剪都是针对单幅图像进行的操作，而图像混叠是对两幅图像进行融合，生成一幅图像，两种方法的主要区别为混叠的方式不太一样。

5.1 Mixup

论文地址：https://arxiv.org/pdf/1710.09412.pdf

开源代码github地址：https://github.com/facebookresearch/mixup-cifar10

Mixup 是最先提出的图像混叠增广方案，其原理简单、方便实现，不仅在图像分类上，在目标检测上也取得了不错的效果。为了便于实现，通常只对一个 batch 内的数据进行混叠，在 Cutmix 中也是如此。

如下是 imaug 中的实现，需要指出的是，下述实现会出现对同一幅进行相加的情况，也就是最终得到的图和原图一样，随着 batch-size 的增加这种情况出现的概率也会逐渐减小。

PaddleClas中Mixup的使用方法如下所示。

from ppcls.data.imaug import DecodeImage
from ppcls.data.imaug import ResizeImage
from ppcls.data.imaug import ToCHWImage
from ppcls.data.imaug import transform
from ppcls.data.imaug import MixupOperator

size = 224

decode_op = DecodeImage()
resize_op = ResizeImage(size=(size, size))
tochw_op = ToCHWImage()
hide_and_seek_op = HideAndSeek()
mixup_op = MixupOperator()
cutmix_op = CutmixOperator()

ops = [decode_op, resize_op, tochw_op]

imgs_dir = 图像路径

batch = []
fnames = os.listdir(imgs_dir)
for idx, f in enumerate(fnames):
    data = open(os.path.join(imgs_dir, f)).read()
    img = transform(data, ops)
    batch.append( (img, idx) ) # fake label

new_batch = mixup_op(batch)

结果如下图所示。

5.2 Cutmix

论文地址：https://arxiv.org/pdf/1905.04899v2.pdf

开源代码github地址：https://github.com/clovaai/CutMix-PyTorch

与 Mixup 直接对两幅图进行相加不一样，Cutmix 是从一幅图中随机裁剪出一个 ROI，然后覆盖当前图像中对应的区域，代码实现如下所示：

rom ppcls.data.imaug import DecodeImage
from ppcls.data.imaug import ResizeImage
from ppcls.data.imaug import ToCHWImage
from ppcls.data.imaug import transform
from ppcls.data.imaug import CutmixOperator

size = 224

decode_op = DecodeImage()
resize_op = ResizeImage(size=(size, size))
tochw_op = ToCHWImage()
hide_and_seek_op = HideAndSeek()
cutmix_op = CutmixOperator()

ops = [decode_op, resize_op, tochw_op]

imgs_dir = 图像路径

batch = []
fnames = os.listdir(imgs_dir)
for idx, f in enumerate(fnames):
    data = open(os.path.join(imgs_dir, f)).read()
    img = transform(data, ops)
    batch.append( (img, idx) ) # fake label

new_batch = cutmix_op(batch)

结果如下图所示。

六、实验

基于PaddleClas，在ImageNet1k数据集上的分类精度如下。

模型初始学习率策略l2 decaybatch sizeepoch数据变化策略Top1 Acc论文中结论
ResNet500.1/cosine_decay0.0001256300标准变换0.7731-
ResNet500.1/cosine_decay0.0001256300AutoAugment0.77950.7763
ResNet500.1/cosine_decay0.0001256300mixup0.78280.7790
ResNet500.1/cosine_decay0.0001256300cutmix0.78390.7860
ResNet500.1/cosine_decay0.0001256300cutout0.7801-
ResNet500.1/cosine_decay0.0001256300gridmask0.77850.7790
ResNet500.1/cosine_decay0.0001256300random-augment0.77700.7760
ResNet500.1/cosine_decay0.0001256300random erasing0.7791-
ResNet500.1/cosine_decay0.0001256300hide and seek0.77430.7720

注意：

  • 在这里的实验中，为了便于对比，我们将l2 decay固定设置为1e-4，在实际使用中，我们推荐尝试使用更小的l2 decay。结合数据增广，我们发现将l2 decay由1e-4减小为7e-5均能带来至少0.3~0.5%的精度提升。
  • 我们目前尚未对不同策略进行组合并验证效果，这一块后续我们会开展更多的对比实验，敬请期待。

七、数据增广分类实战

本节将基于ImageNet-1K的数据集详细介绍数据增广实验。

7.1 参数配置

由于不同的数据增广方式含有不同的超参数，为了便于理解和使用，我们在configs/DataAugment里分别列举了8种训练ResNet50的数据增广方式的参数配置文件，用户可以在tools/run.sh里直接替换配置文件的路径即可使用。此处分别挑选了图像变换、图像裁剪、图像混叠中的一个示例展示，其他参数配置用户可以自查配置文件。

RandAugment

RandAugment的图像增广方式的配置如下，其中用户需要指定其中的参数num_layers与magnitude，默认的数值分别是2和5。RandAugment是在uint8的数据格式上转换的，所以其处理过程应该放在归一化操作（NormalizeImage）之前。

    transforms:
        - DecodeImage:
            to_rgb: True
            to_np: False
            channel_first: False
        - RandCropImage:
            size: 224
        - RandFlipImage:
            flip_code: 1
        - RandAugment:
            num_layers: 2
            magnitude: 5
        - NormalizeImage:
            scale: 1./255.
            mean: [0.485, 0.456, 0.406]
            std: [0.229, 0.224, 0.225]
            order: ''
        - ToCHWImage:

Cutout

Cutout的图像增广方式的配置如下，其中用户需要指定其中的参数n_holes与length，默认的数值分别是1和112。类似其他图像裁剪类的数据增广方式，Cutout既可以在uint8格式的数据上操作，也可以在归一化（NormalizeImage）后的数据上操作，此处给出的是在归一化后的操作。

    transforms:
        - DecodeImage:
            to_rgb: True
            to_np: False
            channel_first: False
        - RandCropImage:
            size: 224
        - RandFlipImage:
            flip_code: 1
        - NormalizeImage:
            scale: 1./255.
            mean: [0.485, 0.456, 0.406]
            std: [0.229, 0.224, 0.225]
            order: ''
        - Cutout:
            n_holes: 1
            length: 112
        - ToCHWImage:

Mixup

Mixup的图像增广方式的配置如下，其中用户需要指定其中的参数alpha，默认的数值是0.2。类似其他图像混合类的数据增广方式，Mixup是在图像做完数据处理后将每个batch内的数据做图像混叠，将混叠后的图像和标签输入网络中训练，所以其是在图像数据处理（图像变换、图像裁剪）后操作。另外，在配置文件中，需要将use_mix参数设置为True。

    transforms:
        - DecodeImage:
            to_rgb: True
            to_np: False
            channel_first: False
        - RandCropImage:
            size: 224
        - RandFlipImage:
            flip_code: 1
        - NormalizeImage:
            scale: 1./255.
            mean: [0.485, 0.456, 0.406]
            std: [0.229, 0.224, 0.225]
            order: ''
        - ToCHWImage:
    mix:
        - MixupOperator:
            alpha: 0.2

7.2 启动命令

当用户配置完训练环境后，类似于训练其他分类任务，只需要将tools/run.sh中的配置文件替换成为相应的数据增广方式的配置文件即可。

其中run.sh中的内容如下：

export PYTHONPATH=path_to_PaddleClas:$PYTHONPATH

python -m paddle.distributed.launch \
    --selected_gpus="0,1,2,3" \
    --log_dir=ResNet50_Cutout \
    tools/train.py \
        -c ./configs/DataAugment/ResNet50_Cutout.yaml

运行run.sh：

sh tools/run.sh

7.3 注意事项

  • 在使用图像混叠类的数据处理时，需要将配置文件中的use_mix设置为True，另外由于图像混叠时需对label进行混叠，无法计算训练数据的准确率，所以在训练过程中没有打印训练准确率。

  • 在使用数据增广后，由于训练数据更难，所以训练损失函数可能较大，训练集的准确率相对较低，但其有拥更好的泛化能力，所以验证集的准确率相对较高。

  • 在使用数据增广后，模型可能会趋于欠拟合状态，建议可以适当的调小l2_decay的值来获得更高的验证集准确率。

  • 几乎每一类图像增广均含有超参数，我们只提供了基于ImageNet-1k的超参数，其他数据集需要用户自己调试超参数，具体超参数的含义用户可以阅读相关的论文，调试方法也可以参考训练技巧的章节。

如果您觉得此文档对您有帮助，欢迎star我们的项目：https://github.com/PaddlePaddle/PaddleClas

参考文献

[1] Cubuk E D, Zoph B, Mane D, et al. Autoaugment: Learning augmentation strategies from data[C]//Proceedings of the IEEE conference on computer vision and pattern recognition. 2019: 113-123.

[2] Cubuk E D, Zoph B, Shlens J, et al. Randaugment: Practical automated data augmentation with a reduced search space[J]. arXiv preprint arXiv:1909.13719, 2019.

[3] DeVries T, Taylor G W. Improved regularization of convolutional neural networks with cutout[J]. arXiv preprint arXiv:1708.04552, 2017.

[4] Zhong Z, Zheng L, Kang G, et al. Random erasing data augmentation[J]. arXiv preprint arXiv:1708.04896, 2017.

[5] Singh K K, Lee Y J. Hide-and-seek: Forcing a network to be meticulous for weakly-supervised object and action localization[C]//2017 IEEE international conference on computer vision (ICCV). IEEE, 2017: 3544-3553.

[6] Chen P. GridMask Data Augmentation[J]. arXiv preprint arXiv:2001.04086, 2020.

[7] Zhang H, Cisse M, Dauphin Y N, et al. mixup: Beyond empirical risk minimization[J]. arXiv preprint arXiv:1710.09412, 2017.

[8] Yun S, Han D, Oh S J, et al. Cutmix: Regularization strategy to train strong classifiers with localizable features[C]//Proceedings of the IEEE International Conference on Computer Vision. 2019: 6023-6032.

3.4 数据增广的尝试-RandomErasing
  • 训练数据量较小时，使用数据增广可以进一步提升模型精度，基于3.3节中的训练方法，结合RandomErasing的数据增广方式进行训练，配置文件中的训练集配置如下所示。
TRAIN:
    batch_size: 32
    num_workers: 4
    file_list: "./dataset/flowers102/train_list.txt"
    data_dir: "./dataset/flowers102/"
    shuffle_seed: 0
    transforms:
        - DecodeImage:
            to_rgb: True
            to_np: False
            channel_first: False
        - RandCropImage:
            size: 224
        - RandFlipImage:
            flip_code: 1
        - NormalizeImage:
            scale: 1./255.
            mean: [0.485, 0.456, 0.406]
            std: [0.229, 0.224, 0.225]
            order: ''
        - RandomErasing: # 在归一化之后使用RandomErasing方法进行数据增广
            EPSILON: 0.5
        - ToCHWImage:

具体的训练脚本如下所示。

export PYTHONPATH=$PWD:$PYTHONPATH
python -m paddle.distributed.launch \
    --selected_gpus="0" \
    tools/train.py \
        -c ./configs/quick_start/ResNet50_vd_ssld_random_erasing_finetune.yaml

可以在命令行中拷贝代码框中的内容运行训练过程，也可以通过sh shell/run_r50_vd_ssld_finetune_random_erasing.sh的命令去运行该训练过程。

训练开始后，可以在终端中实时查看训练集验证集的loss与准确率等信息。

配置文件详解

配置说明

简介

本文档介绍了PaddleClas配置文件(configs/*.yaml)中各参数的含义，以便您更快地自定义或修改超参数配置。

  • 注意：部分参数并未在配置文件中体现，在训练或者评估时，可以直接使用-o进行参数的扩充或者更新，比如说-o checkpoints=./ckp_path/ppcls，表示在配置文件中添加（如果之前不存在）或者更新（如果之前已经包含该字段）checkpoints字段，其值设为./ckp_path/ppcls。

配置详解

基础配置

参数名字具体含义默认值可选值
mode运行模式“train”[“train”," valid"]
checkpoints断点模型路径，用于恢复训练“”Str
last_epoch上一次训练结束时已经训练的epoch数量，与checkpoints一起使用-1int
pretrained_model预训练模型路径“”Str
load_static_weights加载的模型是否为静态图的预训练模型Falsebool
model_save_dir保存模型路径“”Str
classes_num分类数1000int
total_images总图片数1281167int
save_interval每隔多少个epoch保存模型1int
validate是否在训练时进行评估TRUEbool
valid_interval每隔多少个epoch进行模型评估1int
epochs训练总epoch数int
topk评估指标K值大小5int
image_shape图片大小[3，224，224]list, shape: (3,)
use_mix是否启用mixupFalse[‘True’, ‘False’]
ls_epsilonlabel_smoothing epsilon值0float
use_distillation是否进行模型蒸馏Falsebool

结构(ARCHITECTURE)

参数名字具体含义默认值可选值
name模型结构名字“ResNet50_vd”PaddleClas提供的模型结构
params模型传参{}模型结构所需的额外字典，如EfficientNet等配置文件中需要传入padding_type等参数，可以通过这种方式传入

学习率(LEARNING_RATE)

参数名字具体含义默认值可选值
functiondecay方法名“Linear”[“Linear”, “Cosine”,
“Piecewise”, “CosineWarmup”]
params.lr初始学习率0.1float
params.decay_epochspiecewisedecay中
衰减学习率的milestone		list
params.gammapiecewisedecay中gamma值0.1float
params.warmup_epochwarmup轮数5int
parmas.stepslineardecay衰减steps数100int
params.end_lrlineardecayend_lr值0float

优化器(OPTIMIZER)

参数名字具体含义默认值可选值
function优化器方法名“Momentum”[“Momentum”, “RmsProp”]
params.momentummomentum值0.9float
regularizer.function正则化方法名“L2”[“L1”, “L2”]
regularizer.factor正则化系数0.0001float

数据读取器与数据处理

参数名字具体含义
batch_size批大小
num_workers数据读取器worker数量
file_listtrain文件列表
data_dirtrain文件路径
shuffle_seed用来进行shuffle的seed值

数据处理

功能名字参数名字具体含义
DecodeImageto_rgb数据转RGB
to_np数据转numpy
channel_first按CHW排列的图片数据
RandCropImagesize随机裁剪
RandFlipImage随机翻转
NormalizeImagescale归一化scale值
mean归一化均值
std归一化方差
order归一化顺序
ToCHWImage调整为CHW
CropImagesize裁剪大小
ResizeImageresize_short按短边调整大小

mix处理

参数名字具体含义
MixupOperator.alphamixup处理中的alpha值

知识点 CosineWarmup

总结

Mowglee
关注
  • 3
    点赞
  • 踩
  • 9
    收藏
    觉得还不错? 一键收藏
  • 0
    评论
专栏目录
【图像分类】【PaddlePaddle】飞桨领航团图像分类作业心得
qq_34357449的博客
03-10 561
OpenCV是计算机视觉中经典的专用库，其支持多语言、跨平台，功能强大。OpenCV-Python为OpenCV提供了Python接口，使得使用者在Python中能够调用C/C++，在保证易读性和运行效率的前提下，实现所需的功能。
飞桨（paddlepaddle ）入门图像分类最强指南
三岁学编程的博客
03-09 4081
逐步梳理流程简易搭建模型，一站式流程，不要 太舒服！
快速实践大规模轻量级图片分类模型：飞桨识图 PP-ShiTu
m0_63642362的博客
12-18 2987
飞桨识图 PP-ShiTu是大规模轻量级图片分类模型，重建索引速度快，识别速度快，上手快！展示了官方的饮料数据集和斯坦福在线商品数据集上的效果。
使用paddle进行图像分类——Butterfly20
bijianliangqiang的博客
03-07 1469
使用paddle进行图分类——Butterfly20 基于PaddlePaddle2.0的蝴蝶图像识别分类 项目来源于飞桨领航团图像分类作业题。 作为初学者尝试使用自定义数据增广的方式提高模型精度。 1.任务说明 蝴蝶识别分类任务概述 人工智能技术的应用领域日趋广泛，新的智能应用层出不穷。本项目将利用人工智能技术来对蝴蝶图像进行分类，需要能对蝴蝶的类别、属性进行细粒度的识别分类。相关研究工作者能够根据采集到的蝴蝶图片，快速识别图中蝴蝶的种类。期望能够有助于提升蝴蝶识别工作的效率和精度。 2.创建项目和挂
【AI Studio】飞桨图像分类零基础训练营 - 01 - 图像处理基本概念
Lovely_him的博客
03-05 1024
前言：这里是图像分类的第一课笔记，如题，第一节可主要讲述了图像处理的操作，也就是数据集处理。根据之前学过的知识理解，训练集往往是有限的，为了扩大训练集，总会人为的制造数据。这时数据处理就体现了。而且实践证明，这很高效有用。 （经过上次“LHT”笔记的上传失败，这次我想采用缩写，希望能通过。） 目录【AI Studio】飞桨图像分类零基础训练营 - 1 -图像处理基本概念1. 图像处理的概念与基本操作2. OpenCV库进阶操作3. 图像分类任务概念导入4. PaddleClas数据增强代码解析5. 参考.
基于Python的飞桨图像分类套件PaddleClas设计源码
最新发布
05-22
飞桨图像分类套件PaddleClas设计源码：该项目基于Python开发，包含414个文件，主要使用Python、Shell、C++和C语言。PaddleClas是飞桨为工业界和学术界所准备的一个图像分类任务的工具集，旨在帮助用户训练出更好的...
行业分类-设备装置-教育玩具套件.zip
09-01
教育玩具套件是一种结合了科技元素与教育理念的儿童玩乐工具，旨在通过游戏的方式激发孩子们的学习兴趣，提升他们的创新思维、动手能力和科学素养。在当前的IT行业中，教育玩具套件已经成为了科技教育领域的一个重要...
FPGA图像视频套件开发指南Ver1.02-综合文档
05-23
《FPGA图像视频套件开发指南Ver1.02》是一部深入探讨FPGA在图像视频处理领域应用的专业教程。FPGA（Field-Programmable Gate Array），即现场可编程门阵列，是一种高度灵活的集成电路设计平台，允许开发者根据需求...
基于PaddlePaddle的端到端图像分割套件.zip
07-02
【标题】基于PaddlePaddle的端到端图像分割套件 PaddlePaddle，全称为“Parallel Distributed Deep Learning”，是中国阿里巴巴集团旗下的开源深度学习框架，致力于提供易用、高效、灵活的深度学习平台。本套件是...
Cypress汽车图像传感器评估套件
01-19
该ECK100套件提供了一个完整的实验装置评估平台，包括一个采用CMOS成像器的小型摄像头、基于Windows操作系统的管理软件、一个FPGA控制盒、电缆和电源、以及一个应用程序接口。该套件使设计者能够利用Cypress的图像...
如何使用 OpenVINO 工具套件部署百度飞桨的 YOLOv3模型
英特尔开发人员专区
01-06 5151
1. 概述 本文是 OpenVINO™ 工具套件与百度飞桨 PaddlePaddle 模型转换 / 部署系列的第三部 – 目标检测模型。前面两篇文章分别谈到了用DeeplabV3和 BiSeNetV2的语义分割模型来做路面分割。本篇文章将关注展示如何将百度飞桨 PaddleDetection下的 YOLOv3 MobileNet 多目标检测模型转换为 OpenVINO™工具套件的 IR 模型，并且部署到 CPU 上。 为了使本文拥有更广的受众面，文章的目标部署平台选择了CPU。关于如何部署到边缘设备例如 I
制作 ImageNet 验证集的标签 val_map.txt（1000类）
G果的博客
04-30 3977
适配 swin transformer 工程 最终输出的 val_map.txt ILSVRC2012_img_val 文件夹里面都是图像 label_map.txt （通过“n01440764"找到其对应的索引，也就是其类别（1000类）的索引） 需要的参数 val_dir 图像单独保存路径（验证集有6.2G，官网注册去下载，需要机构邮箱，邮箱名称末尾不能是.com） 官网链接: https://imagenet.stanford.edu/challenges/LSVRC/2012/index.ph
paddlepaddle使用paddleclas进行数据增强（只有图像分类相关的）
ccutyear的博客
09-23 4354
能看到这篇博客的同学相信不会不知道paddlepaddle，因此就不像别人写的博文那样对paddlepaddle做普及。 paddleclas的官方文档：https://paddleclas.readthedocs.io/zh_CN/latest/tutorials/ 之前使用paddleapddle时也使用过数据增强。但是，当时参考的官网上的一个公开项目：https://aistudio.baidu.com/aistudio/projectdetail/474524...
【小白】基于百度飞桨PaddleClas的图像识别项目-实战
Thegirlaisvery的博客
03-14 2132
基于python和百度paddleclas模型进行训练
Windows：如何使用PaddleClas做一个完整的项目(一）
qq_38758774的博客
03-21 5435
PaddleClas简介： 飞桨图像分类套件PaddleClas是飞桨为工业界和学术界所准备的一个图像分类任务的工具集，助力使用者训练出更好的视觉模型和应用落地。 项目链接：Windows：如何使用PaddleClas做一个完整的项目(一） 一、环境搭建 Windows搭建环境请查看文章：Windows-paddle-深度学习环境搭建 1.1 PaddleClas环境安装 · 通过pip install paddleclas安装paddleclas whl包 包括ResNet、HRNet、ResNeSt、M
【PaddleClas】手把手让你训练自己的人脸识别模型
m0_63642362的博客
10-08 2177
人脸识别网络可以分为三个部分，检测器，仿射变换，识别器。这个项目是识别器的训练，我使用的了PaddleClas中的AdaFace网络作为识别器，在项目中演示了该网络训练过程。
飞桨Paddlepaddle图像分割训练营class5学习笔记
weixin_45662166的博客
10-25 232
课程链接 预铺知识 1.图 graph 指图论中的图（graph) 由若干个结点(Node) 及连接两个结点的边(Edge) 所构成的图形。 用于刻画不同结点之间的关系 2.GNN 通过结点信息的传播使整张图达到收敛，在其基础上再进行预测。 1.GNN的基础理论是不动点理论，这就意味着GNN沿时间展开的长度是动态的，是根据收敛条件确定的。 2.GNN每次时间步的输入都是所有结点 v 的特征。 3.GNN采用 AP 算法反向传播优化，对收敛性有要求。 4.GNN循环调用 f 的目标是得到每个结点稳定的隐藏状
PaddlePaddle 7日入门心得
苍雪的博客
03-09 573
PaddlePaddle 7日入门心得 一个学生小白偶尔间看到这门课，马上报名，入坑，7天过去了，真香，太好用了！！！！ 课程传送门 百度AI studio 平台超级方便，控制台，ipython，python，都可以使用，云编程不是梦，运行环境不仅有CPU而且还有GPU，简直不要太好了。 课程方面，从最基础的入门，然后逐渐提高，开始时老师手把手教学，每一个指令都很清晰，后面慢慢“放手”，自己写一...
Dataset之ImageNet：ImageNet数据集简介、下载、使用方法之详细攻略
热门推荐
近期请国内外头部出版社可尽快私信博主！——心比天高，仗剑走天涯，保持热爱，奔赴向梦想！低调，谦虚，自律，反思，成长，还算是比较正能量的博主，公益免费传播……内心特别想在AI界做出一些可以推进历史进程影响力的东西(兴趣使然，有点小情怀，也有点使命感呀)…
09-21 7万+
Dataset之ImageNet：ImageNet数据集简介、下载、使用方法之详细攻略 目录 lmageNet 数据集简介 1、ImageNet数据集的意义 2、ImageNet的数据结构——层次结构及其1000个类别 3、ImageNet数据集与ILSVRC竞赛的关系 4、与CIFAR-10数据集比较 5、相关论文 lmageNet 数据集安装 lmag...
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值