一.引入迁移学习
1.迁移学习将在一个场景中学习到的知识迁移到另一个场景应用。 通过利用之前学到的知识来帮助完成新环境下任务的学习方法,这样能解决现有深度学习算法欠缺泛化能力、大量任务场景缺少标签数据的问题。
下图是吴恩达预测的各种方法在商业上的应用成功度。
2.使用迁移学习,我们可以去做以下任务。
[1]无人驾驶汽车
[2]机器人力臂
[3]通用AI
[4]个性化对话
[5]少标记量图像处理
3.迁移学习按域和任务的迁移形式不同可以分为四类:
[1]源域、源任务和目标域、目标任务都相似的迁移形式。
[2]源域和目标域相似、源任务和目标任务不同的迁移形式。
[3]源域和目标域不同、源任务和目标任务相似的迁移形式。
[4]源域和目标域不同、源任务和目标任务不同的迁移形式。
4.举例假如源任务是对猫狗种类的识别,那么:
[1]相同域、不同任务就类似于中图,同域是指都是用摄像机拍下的图片,不同任务是指现在是对老鹰和布谷鸟进行种类识别。
[2]不同域、相同任务如下面的图,两者都是对猫和狗的识别,但是一个是现实世界拍的,另一个是卡通动漫角色。
5.按照源数据和目标数据的特点可以分为四类(源任务、目标任务的监督性):
[1]源数据是有标签的,目标数据也是有标签的(相对较少)。
[2]源数据是有标签的,目标数据是无标签的。
[3]源数据是无标签的,目标数据是有标签的。
[4]源数据是无标签的,目标数据是无标签的。
现在主流的应用是针对于第一类问题的迁移模式,源数据是无标签的学习形式较难,最近几年也很少有突破。