深度学习论文阅读摘要

1、基础方向

1.1、小样本学习

1、Learning to Compare: Relation Network for Few-Shot Learning cvpr2018
相关资源：
中文概要说明：https://zhuanlan.zhihu.com/p/35379027
github实现：https://github.com/floodsung/LearningToCompare_FSL
总结：

做一个embedding的模型，和要识别的图像拼接起来进行预测，用来判断类别。其中预训练模型可以采用大批量的数据训练完成图片的特征提取，在小规模的数据集合上使用这个模型来完成训练。

2、Model-Agnostic Meta-Learning for Fast Adaptation of Deep Networks

总结：
a)Task由support set和query set组成
b)每个Task的support set进行局部梯度更新，反向传播
c)所有的task的query set进行进行梯度更新，反向传播
d)few shot排列组合式的学习，导致泛化能力高

一些概念
参考： http://www.xuwei.io/2019/07/01/few-shot-learning%E7%9A%84%E4%B8%80%E4%BA%9B%E7%AE%80%E5%8D%95%E7%AC%94%E8%AE%B0%EF%BC%88%E4%B8%80%EF%BC%89/

• episode training：每一个episode便是训练一次，有点类似于传统训练方法里的一个batch，然后这个episode内部由两部分构成：support set和query set
• support set：在构建这个episode时候，会从全量数据中每个episode都随机选择一些类别，比如C个类别，然后从数据集中同样随机从这选定的C个类别中选取同样数量的K个样本，这便构成了support set，总共包含C * K个样本。一般而言模型会在这个上面进行一次训练。这样构造出来的任务便是C-way K-shot
• query set: 和support set类似，会在剩下的数据集样本中给C个类采样一些样本作为query set，一般而言，模型在support set进行一次训练后进行一次更新，会在query set上求得loss再进行一次更新
• task：一个episode包含一个support set和一个query set，一个episode对应的便是让模型在support set上进行学习后能够在query set上有比较好的预测表现。因此一个episode便对应为一个task
• meta trainig set: 通常而言，根据训练数据的规模大小，可以构建出来多个训练的episode，这些episode便可以称为meta-training set
• meta test set: 因为在meta training set的若干个task（也就是若干个episode）上已经训练好了一个模型，那么希望模型在一些新的task上也能有比较好的表现。因此，meta test set在数据构成上和meta training set完全一致，也包含了support set和query set，基本思想就是希望模型能够基于新任务下的support set，迅速抓住问题的本质，从而能够快速在meta test set中的query set上取得比较好的效果。

1.2、优化

1、On Large-Batch Training for Deep Learning: Generalization Gap and Sharp Minima ICLR2017
博客解读：
https://blog.csdn.net/zhangboshen/article/details/72853121
https://zhuanlan.zhihu.com/p/51093898
研究内容：
（LB=Large-Batch；SB=Small-Batch）：
1：LB方法过度拟合模型;
2：LB方法被吸引到鞍点;
3：LB方法缺乏SB方法的探索性质，并倾向于放大最接近初始点的最小值;
4：SB和LB方法收敛到具有不同泛化特性的定性不同的最小化。
结论：
作者给出了大batch优化过程中最优值倾向于收敛到sharp minima的数据实验支持，而sharp minima是导致网络泛化性能下降的重要原因（Generalization Gap）。作者通过提出一个锋利度sharpness的数学概念来表征sharp minima现象。同时，作者也给出了几种尝试去解决大batch方法的方案：数据增强、保守学习以及健壮学习，但是根据作者的实验，这几种方法虽然一定程度上提高了网络的泛化性能，但是sharp minima的现象依然存在。一个比较有希望的解决方案是dynamic sampling（动态采样），这个方法选取的batchsize随着迭代次数的增加会发生变化，这在文中的piggybacked LB实验中证明是可行的。

2、sharpness-aware minimization for efficiently improving generalization ICLR 2021投稿双盲审中
研究：
Indeed, optimizing only the training loss value, as is commonly done, can easily lead to suboptimal model quality. Motivated by prior work connecting the geometry of the loss landscape and generalization, we introduce a novel, effective procedure for instead simultaneously minimizing loss value and loss sharpness. In particular, our procedure,Sharpness-Aware Minimization (SAM), seeks parameters that lie in neighborhoods having uniformly low loss;
结论：
大幅度提高了泛化能力

1.3 数据集

1、miniImageNet（ImageNe的mini版本）：
miniImageNet包含100类共60000张彩色图片，其中每类有600个样本，每张图片的规格为84 × 84 84 \times 8484×84。通常而言,这个数据集的训练集和测试集的类别划分为：80 : 20 80:2080:20。相比于CIFAR10数据集，miniImageNet数据集更加复杂，但更适合进行原型设计和实验研究。

DeepMind的那篇小样本学习的论文就是大名鼎鼎的Matching Network的来源: Matching Networks for One Shot Learning 。

2、Omniglot（手写数字MNIST升级版）
Omniglot 数据集包含来自 50不同字母（语言）的1623 个不同手写字符。每一个字符都是由 20个不同的人通过亚马逊的 Mechanical Turk 在线绘制的（相当于每个类别20个样例）。
每个图像都与笔画数据配对, 坐标序列为 [x, y, t], 且时间 (t)以毫秒为单位。笔画数据仅在 matlab/ 文件中可用。
Omniglot 一般会被戏称为 MNIST 的转置。

csdn上有一个数据集集下载的地址：

2、图像

2.1 论文

1、Inception-v4, Inception-ResNet and the Impact of Residual Connections on Learning AAAI
知乎中文解读：https://zhuanlan.zhihu.com/p/32888084
相关博文： 从Inception v1到Inception-ResNet，一文概览Inception家族的「奋斗史」 https://zhuanlan.zhihu.com/p/37505777

研究：
Inception和ResNet 结合起来效果
创新：

提出Inception-A, Inception-B and Inception-C blocks三个block，依托于此建立3个model
Inception-v4
Inception-ResNet-v1
Inception-ResNet-v2
结论：
With an ensemble of three residual and one Inception-v4 networks, we achieve 3.08% top-5
error on the test set of the ImageNet classification (CLS) challenge

2、Deep Residual Learning for Image Recognition CVPR2016
知乎中文解读：https://zhuanlan.zhihu.com/p/162801227
结论： 提出残差网络，网上解读论文很多

3、个人心得

3.1 科研能力

一般的科研能力包括如下能力：

• 读文献
• 寻找idea 和 创新点
• 设计实验和对比实验
• 分析实验结果，决定改进方法或决定放弃
• 写出一篇solid paper
• 选定期刊投出paper
• 做revision
• paper接受后去传播research result

3.2 一般的优化手段

1、图片网络结构的变化，来说就是多通道、增加深度和广度，获得更多的图像的特征，为了防止梯度的消失，使用残差结构来增强
2、文本网络结构的变化，主要注意力机制的变化

3.3 进阶手段