CROSS-DOMAIN FEW-SHOT CLASSIFICATION VIA LEARNED FEATURE-WISE TRANSFORMATION

个人学习记录，谨慎采纳
learning to learn参考文献:
https://bair.berkeley.edu/blog/2017/07/18/learning-to-learn/
解析

题目：CROSS-DOMAIN FEW-SHOT CLASSIFICATION VIA LEARNED FEATURE-WISE TRANSFORMATION
作者：Hung-Yu Tseng
一、要解决的问题(研究动机)：
由于特征分布的差异，以往小样本分类模型在未见域上效果差。
由于模拟不同域的特征分布变化非常困难，超参需要精细的手动调整。

二、研究目标
1.在编码器中加入具有仿射变换功能的特征级变换层，来模仿多种特征分布，以提高模型泛化能力。
2.用学会学习的方法优化变换层的参数。

三、技术路线
1.基于度量学习的少样本分类
通过对比编码器提取的支持集与询问集的样本特征，为询问集样本预测标签。用预测标签和真实标签做损失，来优化模型。

2.特征级转换层
在特征编码器的批量归一化层后中加入特征变换层，用仿射变换丰富活性图，来产生更多的特征分布，增强模型的泛化能力。
第一步：从高斯分布中采样比例项与偏差项

softplus激活函数介绍

第二步：微调activation map z(经过激活函数的特征图)

3.学习特征变换层
首先说明一个概念，学会学习（即元学习）：
去学习一种学习知识的方法；学会学习不同任务仍有不同模型，但是在以往模型训练过程中，可以总结一些学习的方法，遇到新任务时，可以学的更快更好。
由于手动调整出对不同数据集都有效的参数很困难，因此采用学会学习的方法来优化变换层参数。核心思想是，在可见域上训练模型也会提高模型在未见域上的表现。

第一步：用带转换层的模型预测伪可见域样本的标签，并根据损失优化编码器和度量函数的参数

第二步：用不带转换层的模型预测伪不可见域样本的标签，并根据损失优化元学习的参数，习得可用于不同任务的转换层参数。


四、提出方案的依据
1.在训练阶段添加某种形式的随机性是提高泛化性的有效方法。
2.用学会学习的方法训练参数更加有效。