小样本学习图像分类整体架构（帮助确定切入点、研究方向及论文整体架构）

小样本学习图像分类整体架构（帮助确定切入点、研究方向及论文整体架构）

总体结构

1. 数据集处理（图像增强）

• 数据增强
  • 通过旋转、加噪、裁剪、压缩等操作。
  • 利用生成模型生成新的样本或产生新的特征。
    • 2017 年 Mehrotra 等提出 了生成网络 + 孪生网络的网络结构
  • 通过函数变换
    • 将图像中需要关注的物体本身或者其模式通过某种变换。
• 模型适应数据
  • 针对数据的特点进行建模。对小样本的数据集，设计用于提取表示能力强的特征网络架构。

2.特征提取

• 注意力机制

  • 简单来说就是在特征提取中，加权需要重点获取的信息

• 记忆力机制

  • 简单来说就是提取各阶段的信息进行融合

3.分类器

• 卷积神经网络最后一层添加softmax的全连接层来分类
• 多数采用距离度量加权重

小样本公用数据集

• 数据量级大、类别多、每类包含的样本多的数据集。

  • Tiered-ImageNet

• 数量级较小的数据集

  • CIFAR-100（FC100）

  • Mini-ImageNet

  • CUB-200

• 数据集类别较多, 但是相对类内样本少的数据集。

• Omniglot

小样本学习评价指标

• N-way K-shot N ∈ {5, 10, 15, 20}, K ∈ {1, 5}一般来说取这些值的组合

小样本图像算法分类

• 卷积神经网络模型
  • 迁移学习
    • 基于特征
    • 基于相关性
    • 基于共享参数
  • 元学习
    • 基于度量
    • 基于优化
    • 基于模型
  • 对偶学习
    • 自动编码机
    • 生成对抗网络
  • 贝叶斯学习
• 图神经网络模型

研究方向

• 模型预训练需要大量样本与小样本背道而驰，可以研究利用其他先验知识而非模型预训练的方法。
• 针对基于元学习的方法设计合理的（自适应）梯度迁移算法

参考资料

[1] 刘颖, 雷研博, 范九伦等. 基于小样本学习的图像分类技术综述[J]. 自动化学报, 2021, 47(02):297-315.

[2] 赵凯琳, 靳小龙, 王元卓. 小样本学习研究综述[J].软件学报, 2021, 32(02):349-369.