人脸识别迁移学习的应用

https://github.com/jindongwang/transferlearning

关于迁移学习的一些资料

这个仓库包含关于迁移学习一些资料，包括：介绍，综述文章，代表工作及其代码，常用数据集，硕博士论文等等。欢迎一起贡献！

关于机器学习和行为识别的资料，请参考：行为识别｜机器学习

---

目录 Table of contents

• 最新 Latest

• 迁移学习简介 Introduction to transfer learning

• 迁移学习的综述文章 Survey papers

• 迁移学习相关代码 Available codes

• 迁移学习代表性研究学者 Scholars

• 迁移学习相关的硕博士论文 Thesis

• 代表性文章阅读 Paper reading

• 迁移学习用于行为识别 Transfer learning for activity recognition

• 常用数据集 Datasets

• Contributing

---

0.Latest

• 201711 ICCV 2017发表的文章：Open set domain adaptation。当source和target只共享某一些类别时，怎么处理？这个文章获得了ICCV 2017的Marr Prize Honorable Mention，值得好好研究。我的解读  

• 201711 一个很好的深度学习+迁移学习的实践教程，有代码有数据，可以直接上手：基于深度学习和迁移学习的识花实践

• 201710 Google最新论文：Learning Transferable Architectures for Scalable Image Recognition

• 201710 Domain Adaptation in Computer Vision Applications 里面收录了若干篇domain adaptation的文章，可以大概看看。  

• 201707 Adversarial Representation Learning For Domain Adaptation

• 201707 Mutual Alignment Transfer Learning

• 201708 Learning Invariant Riemannian Geometric Representations Using Deep Nets

• 20170812 香港科技大学的最新文章：Learning To Transfer，将迁移学习和增量学习的思想结合起来，为迁移学习的发展开辟了一个崭新的研究方向。我的解读

• 2017-ICML 清华大学龙明盛最新发在ICML 2017的深度迁移学习文章：Deep Transfer Learning with Joint Adaptation Networks，在深度网络中最小化联合概率，还支持adversarial。 代码

---

1.迁移学习简介

文档 || PPT(英文) || PPT(中文)

台湾大学李宏毅的视频讲解，非常不错：https://www.youtube.com/watch?v=qD6iD4TFsdQ

迁移学习领域的著名学者、代表工作及实验室介绍

什么是负迁移(negative transfer)？

---

2.迁移学习的综述文章

一些迁移学习的综述文章，中文英文都有。

• 其中，最具代表性的综述是A survey on transfer learning，对迁移学习进行了比较权威的定义。

• 最新的综述是Cross-dataset recognition: a survey，目前刚发在arXiv上，作者是澳大利亚卧龙岗大学的在读博士生，迁移学习领域做的不错。

• 来自香港科技大学Qiang Yang老师团队的最新综述A survey on multi-task learning

• 还有一篇较新的综述是A survey of transfer learning，写于2015-2016年。其中交代了一些比较经典的如同构、异构等学习方法代表性文章。包括了很多方法介绍，值得一看。

• 此外，还包括迁移学习应用于行为识别、迁移学习与增强学习结合等。

• 关于多个源域进行迁移的综述、视觉domain adaptation综述也十分有用。

• 中文方面，迁移学习研究进展是一篇不错的中文综述。

• 关于迁移学习的理论方面，有三篇连贯式的理论分析文章连续发表在NIPS和Machine Learning上：理论分析

---

3.代码

请见这里

---

4.迁移学习代表性研究学者

全部列表以及代表工作性见这里

• Qiang Yang：中文名杨强。香港科技大学计算机系主任，教授，大数据中心主任。迁移学习领域世界性专家。IEEE/AAAI/IAPR/AAAS fellow。[Google scholar]
• Sinno Jialin Pan：杨强的学生，香港科技大学博士，现任新加坡南阳理工大学助理教授。迁移学习领域代表性综述A survey on transfer learning的第一作者（Qiang Yang是二作）。[Google scholar]
• Wenyuan Dai：中文名戴文渊，上海交通大学硕士，现任第四范式人工智能创业公司CEO。迁移学习领域著名的牛人，每篇论文引用量巨大，在顶级会议上发表多篇高水平文章。
• Lixin Duan：中文名段立新，新加坡南洋理工大学博士，现就职于电子科技大学，教授。
• Fuzhen Zhuang：中文名庄福振，中科院计算所博士，现任中科院计算所副研究员。[Google scholar]
• Mingsheng Long：中文名龙明盛，清华大学博士，现任清华大学助理研究员。[Google scholar]

---

5.迁移学习相关的硕博士论文

硕博士论文可以让我们很快地对迁移学习的相关领域做一些了解，同时，也能很快地了解概括相关研究者的工作。其中，比较有名的有

• 杨强的学生Sinno Jialin Pan的Feature-based Transfer Learning and Its Applications
• 南加州大学的Boqing Gong的Kernel Methods for Unsupervised Domain Adaptation
• 杨强的学生Hao Hu的Learning based Activity Recognition
• 杨强的学生Wencheng Zheng的Learning with Limited Data in Sensor-based Human Behavior Prediction
• 清华大学龙明盛的迁移学习问题与方法研究
• 上海交通大学戴文渊的基于实例和特征的迁移学习算法研究
• 中科院计算所赵中堂的自适应行为识别中的迁移学习方法研究
• Baochen Sun的Correlation Alignment for Domain Adaptation

其他的文章，请见完整版。

---

6.代表性文章阅读

Domain adaptation是迁移学习领域比较热的研究方向，在这里整理了一些经典的文章和说明：Domain adaptation

最近一个推荐、分享论文的网站比较好，我在上面会持续整理相关的文章并分享阅读笔记。详情请见paperweekly。

代表性的方法及文章

• 迁移成分分析方法(Transfer component analysis, TCA)

  • Domain adaptation via tranfer component analysis
  • 发表在IEEE Trans. Neural Network期刊上（现改名为IEEE trans. Neural Network and Learning System），前作会议文章发在AAAI-09上
  • 我的解读

• 联合分布适配方法（joint distribution adaptation，JDA）

  • Transfer Feature Learning with Joint Distribution Adaptation
  • 发表在2013年的ICCV上
  • 我的解读

• 测地线流式核方法(Geodesic flow kernel, GFK)

  • Geodesic flow kernel for unsupervised domain adaptation
  • 发表在CVPR-12上
  • 我的解读

• 领域不变性迁移核学习(Transfer Kernel Learning, TKL)

  • Domain invariant transfer kernel learning
  • 发表在IEEE Trans. Knowledge and Data Engineering期刊上

• 深度适配网络（Deep Adaptation Network, DAN）

  • 发表在ICML-15上：learning transferable features with deep adaptation networks
  • 我的解读

• 深度联合适配网络（Joint Adaptation Network, JAN）

  • Deep Transfer Learning with Joint Adaptation Networks
  • 发表在ICML 2017上，作者也是龙明盛
  • 延续了之前的DAN工作，这次考虑联合适配

• 学习迁移(Learning to Transfer, L2T)

  • 迁移学习领域的新方向：与在线、增量学习结合
  • 我的解读

• Simultaneous Deep Transfer Across Domains and Tasks

  • 发表在ICCV-15上，在传统深度迁移方法上又加了新东西
  • 我的解读

---

迁移学习用于行为识别的文章总结

我写的迁移学习应用于行为识别领域的文章小总结。

---

记与迁移学习大牛杨强教授的第二次会面

---

Contributing

如果你对本项目感兴趣，非常欢迎你加入！

• 正常参与：请直接fork、pull都可以
• 如果要上传文件：请不要直接上传到项目中，否则会造成git版本库过大。正确的方法是上传它的超链接。如果你要上传的文件本身就在网络中（如paper都会有链接），直接上传即可；如果是自己想分享的一些文件、数据等，鉴于国内网盘的情况，请按照如下方式上传：
  • (墙内)目前没有找到比较好的方式，只能通过链接，或者自己网盘的链接来做。
  • (墙外)首先在UPLOAD直接上传（不需要注册账号）；上传成功后，在DOWNLOAD里找到你刚上传的文件，共享链接即可。

Welcome!

[文章版权声明]这个仓库是我开源到Github上的，可以遵守相关的开源协议进行使用。这个仓库中包含有很多研究者的论文、硕博士论文等，都来源于在网上的下载，仅作为学术研究使用。我对其中一些文章都写了自己的浅见，希望能很好地帮助理解。这些文章的版权属于相应的出版社。如果作者或出版社有异议，请联系我进行删除（本来应该只放文章链接的，但是由于时间关系来不及）。一切都是为了更好地学术！

首先通过 1000 人 2 亿张结构化数据对人脸识别进行多标签多任务深度学习，深度模型能够很好的学习到人脸的光线、角度、表情、遮挡等对人脸识别的影响，得到人脸识别基础模型。

在基础模型的基础上，云从科技研究院通过迁移学习，加入 1000 万人，10 亿张人脸这个量级的具有人脸ID 信息的训练数据进行深度学习模型参数的迁移学习，算法模型在已经基本具备怎么识别人脸的基础上进一步加大网络深度和结构复杂度，得到更精准的人脸识别算法模型。

最后，人脸识别有一个应用场景数据迁移学习层，可以通过少量（万级）实际场景人脸，针对跨场景、在各种人脸识别任务上进行微调参数，使得不同场景下识别精度更高。

人脸识别迁移学习训练，就像单反相机手动拍照得到最佳拍摄照片一样。首先选择一个光传感器，镜头参数基本合适满足需要的单反相机（人脸识别结构化数据基础模型）；在拍一些风景或者人物照片时，先粗调长焦，拍摄模式（人脸识别亿级数据泛化模型）；最后再微调焦距，精细快门和光圈（人脸识别应用场

景精准模型）。这样通过两次迁移，就可以得到精准的人脸识别算法模型，能够在各行业各场景下使用。