迁移学习资源列表
这是一个关于迁移学习、领域自适应和领域间翻译的精选论文和有用资源列表!
目录
教程和博客
论文
论文按主题和每个主题内的发布日期(对于arXiv论文为提交日期)排序。如果论文中给出了网络或算法的名称,那么名称会写在论文名称前,用粗体表示。
综述
- 迁移学习综述 (2009)
- 强化学习领域的迁移学习综述 (2009)
- 迁移学习综述 (2016)
- 视觉应用的领域自适应:一项全面综述 (2017)
- 深度视觉领域自适应:一项综述 (2018)
深度迁移学习
深度学习模型的迁移。
微调方法
- 更好的ImageNet模型迁移能力更强吗? (2018)
- 预训练可以提高模型的鲁棒性和不确定性 (2019)
- 通过不确定性估计纠正领域自适应语义分割中的伪标签学习 (2020)
- 用随机回归正则化CNN迁移学习 (2020)
特征提取(嵌入)方法
- 现成的CNN特征:识别任务的惊人基线 (2014)
- 任务本体:解耦任务迁移学习 (2018)
多任务学习
- 学习不忘记 (2016)
强化学习的策略迁移
- 使用高阶动作相对输入训练Ms. Pac-Man的强化学习 (2013)
少样本迁移学习
- 事件抽取的零样本迁移学习 (2017)
- 学习深度嵌入模型用于零样本学习 (2017)
- 零样本目标检测 (2018)
- LSTD:低样本迁移检测器的目标检测 (2018)
- 使用少样本目标检测理解多领域文档布局 (2018)
- 一次性无监督跨领域翻译 (2018)
元迁移学习
- 通过学习迁移学习迁移 (2018)
应用
医学成像:
- 深度卷积神经网络用于计算机辅助检测:CNN架构、数据集特性和迁移学习 (2016)
- 卷积神经网络在医学图像分析中的全训练或微调? (2017)
- 数字病理学的深度迁移学习策略比较 (2018)
机器人:
- 深度卷积神经网络用于位置识别和基于几何信息 (2018)
异常检测:
- 多分辨率知识蒸馏用于异常检测 (2020)
无监督领域自适应
在无监督领域自适应中,源域和目标域之间进行迁移。在无监督领域自适应中,只有源域可以有标签。
理论
通用
- 从不同领域学习的理论研究 (2010)
- 最小复杂度函数在无监督学习语义映射中的作用 (2018)
- 子群体偏移的标签传播理论 (2021)
多源
- 多源领域自适应 (2008)
- 多源自适应的算法和理论 (2018)
对抗方法
学习潜在空间
- DANN:领域对抗性训练神经网络 (2015)
- JAN:深度迁移学习与联合适应网络 (2016)
- CoGAN:耦合生成对抗网络 (2016)
- DRCN:深度重建-分类网络用于无监督领域自适应 (2016)
- DSN:领域分离网络 (2016)
- ADDA:自适应判别领域自适应 (2017)
- GenToAdapt:生成对齐:使用生成对抗网络对齐领域 (2017)
- WDGRL:Wasserstein距离引导的领域表示学习 (2017)
- CyCADA:循环一致的对抗领域自适应 (2017)
- DIRT-T:无监督领域自适应的DIRT-T方法 (2017)
- DupGAN:对偶生成对抗网络用于无监督领域自适应 (2018)
- MSTN:学习语义表示用于无监督领域自适应 (2018)
- 自编码器基于无监督图像内容转移中的新兴解耦 (2019)
- DTA:丢弃以适应:学习无监督领域自适应的判别特征 (2019)
- iDANN:增量无监督领域对抗训练神经网络 (2020)
- 使用多级对抗学习从肾脏活检图像中进行交叉染色分割 (2020)
图像到图像翻译
- DIAT:深度身份意识的面部属性转移 (2016)
- Pix2pix:使用条件对抗网络的图像到图像翻译 (2016)
- DTN:无监督跨领域图像生成 (2016)
- SimGAN:通过对抗训练从模拟和无监督图像中学习(2016) (2016)
- PixelDA:使用生成对抗网络的无监督像素级领域自适应 (2016)
- UNIT:无监督图像到图像翻译网络 (2017)
- CycleGAN:使用循环一致对抗网络的无配对图像到图像翻译 (2017)
- DiscoGAN:使用生成对抗网络学习发现跨领域关系 (2017)
- DualGAN:双GAN:无监督双重学习用于图像到图像翻译 (2017)
- SBADA-GAN:从源到目标和返回:对称双向自适应GAN (2017)
- DistanceGAN:单边无监督领域映射 (2017)
- pix2pixHD:使用条件GAN的高分辨率图像合成和语义操作 (2018)
- I2I:用于领域自适应的图像到图像翻译 (2017)
- MUNIT:多模态无监督图像到图像翻译 (2018)
- LSTNet:无监督潜在空间翻译网络(2020)
多源自适应
- StarGAN:StarGAN: 用于多领域图像到图像翻译的统一生成对抗网络 (2017)
- XGAN:XGAN: 用于多对多映射的无监督图像到图像翻译 (2017)
- BicycleGAN:朝向多模态图像到图像翻译 (2017)
- 跨领域和任务的标签高效可迁移表示学习 (2017)
- ComboGAN:ComboGAN: 无拘无束的图像领域翻译可扩展性 (2017)
- AugCGAN:Augmented CycleGAN: 从无配对数据学习多到多映射 (2018)
- RadialGAN:RadialGAN: 利用多个数据集使用生成对抗网络改进特定目标的预测模型 (2018)
- MADA:多对抗领域自适应 (2018)
- MDAN:使用对抗学习的多源领域自适应 (2018)
时序模型(视频)
- Model F:在无标签视频中进行无监督领域自适应的面部识别 (2017)
- RecycleGAN:Recycle-GAN: 无监督视频重定向 (2018)
- Vid2vid:视频到视频合成 (2018)
- Temporal Smoothing (TS):Everybody Dance Now (2018)
- TA3N:大规模视频领域自适应的时序注意力对齐 (2019)
最优传输
- OT:领域自适应的最优传输 (2015)
- 使用最优传输的领域自适应理论分析 (2016)
- JDOT:领域自适应的联合分布最优传输 (2017)
- Monge map learning:大规模最优传输和映射估计 (2017)
- JCPOT:目标偏移下的多源领域自适应最优传输 (2018)
- DeepJDOT:深度联合分布最优传输用于无监督领域自适应 (2018)
嵌入方法
- 零样本学习的无监督领域自适应 (2015)
- DAassoc:关联领域自适应 (2017)
核方法
- SurK:Hilbert空间中的协变量偏移:通过替代核解决 (2015)
- DAN:使用深度适应网络学习可迁移特征 (2015)
- RTN:使用残差传输网络的无监督领域自适应 (2016)
- Easy DA:无监督领域自适应的简单方法 (2016)
自编码器方法
- MCAE:使用多通道自编码器从合成数据中学习分类器 (2015)
- SMCAE:使用堆叠多通道自编码器从合成数据中学习 (2015)
子空间学习
- SGF:领域自适应的对象识别:一种无监督方法 (2011)
- GFK:用于无监督领域自适应的测地线流核 (2012)
- SA:使用子空间对齐的无监督视觉领域自适应 (2015)
- CORAL:令人沮丧的简单领域自适应回归 (2015)
- Deep CORAL:深度CORAL:用于深度领域自适应的相关性对齐 (2016)
- ILS:为领域自适应学习不变Hilbert空间 (2016)
- Log D-CORAL:领域自适应的黎曼度量下的相关性对齐 (2017)
- GCA:使用流形度量学习在领域自适应中的统一框架 (2018)
自集成方法
- MT:自集成用于领域自适应 (2017)
其他
- 将视觉类别模型适应到新领域 (2010)
- AdaBN:重新审视批量归一化以实现实用的领域自适应 (2016)
- AutoDIAL: 自动领域对齐层 (2017)
- 通过熵最小化实现完全测试时适应 (2020)
- 评估在协变量偏移下通过协变量偏移适应提高对常见腐败的鲁棒性 (2020)
- 通过协变量偏移适应提高对常见腐败的鲁棒性 (2020)
- IAST:实例自适应自我训练用于无监督领域自适应 (2020)
- Meta Self-Learning:多源领域自适应的元自我学习:基准 (2021)
半监督领域自适应
所有源点都有标签,但只有少数目标点有标签。
通用方法
- da+lap-sim:具有实例约束的半监督领域自适应 (2013)
子空间学习
- EA++:基于协同正则化的半监督领域自适应 (2010)
- SDASL:使用子空间学习的半监督领域自适应与视觉识别 (2015)
Copula方法
- NPRV:具有非参数Copula的半监督领域自适应 (2013)
少样本监督领域自适应
只有少数目标示例可用,但它们有标签。
对抗方法
- FADA:少样本对抗领域自适应 (2017)
- Augmented-Cyc:用于领域自适应的增强循环对抗学习 (2018)
嵌入方法
- CCSA:统一深度监督领域自适应和泛化 (2017)
应用领域自适应
领域自适应在其他领域的应用
物理
- 使用对抗网络学习支点 (2016)
- 使用对抗神经网络识别量子相变 (2017)
- 自动发现多体局域化中相变的典型特征 (2017)
音频处理
- 基于自编码器的无监督领域自适应用于语音情感识别 (2014)
- 用于无监督领域自适应的对抗性教师-学生学习 (2018)
- 使用在合成混合物上训练的掩蔽网络的半监督单声道歌声分离 (2019)
数据集
图像到图像
- MNIST 对比 MNIST-M 对比 SVHN 对比 Synth 对比 USPS:数字图像
- GTSRB 对比 Syn Signs:交通标志识别数据集,真实与合成标志间的迁移。
- NYU Depth Dataset V2:使用两种不同相机(普通和深度)拍摄的标记配对图像
- CelebA:名人面部图像,可以执行性别或发色翻译等操作
- Office-Caltech 数据集:Office-31 和 Caltech-256 数据集中共有的 10 个常见类别的办公对象图像。共有四个领域:Amazon、Webcam、DSLR 和 Caltech。
- Cityscapes 数据集:街道场景照片(源)及其注释版本(目标)
- UnityEyes 对比 MPIIGaze:模拟与真实的注视图像(眼睛)
- CycleGAN 数据集:horse2zebra, apple2orange, cezanne2photo, monet2photo, ukiyoe2photo, vangogh2photo, summer2winter
- pix2pix 数据集:edges2handbags, edges2shoes, facade, maps
- RaFD:具有 8 种不同情绪(愤怒、厌恶、恐惧、快乐、悲伤、惊讶、蔑视和中性)的面部图像。你可以将一个面部从一个情绪转移到另一个情绪。
- VisDA 2017 分类数据集:两个领域的 12 个类别的对象图像:3D 模型和真实图像。
- Office-Home 数据集:4 个领域中的对象图像:艺术、剪贴画、产品和现实世界。
- DukeMTMC-reid 和 Market-1501:在不同地点收集的两个人体数据集。评估指标基于开放集图像检索。
文本到文本
- Amazon 评论基准数据集:四种(领域)评论的情感分析:书籍、DVD、电子产品、厨房
- ECML/PKDD 垃圾邮件过滤:来自 3 个不同收件箱的电子邮件,可以代表 3 个领域。
- 20 Newsgroup:跨 6 个顶层类别和 20 个子类别的新闻组文档集合。子类别可以扮演领域的角色,如本文所述。
其他
- Meta Self-Learning:多源领域自适应的元自我学习:基准 (2021)