2018年4月,沐浴着和煦的春风,我将自己在迁移学习领域的学习和研究心得进行系统性梳理,最后以《迁移学习简明手册》开源发布。手册上线至今已逾3年,帮助了众多读者快速入门迁移学习,也获得了大家的好评(代码库和手册分别在Github上收获 7K 和 2K 星标)。
该书的封面由笔者和编辑讨论而成,由众多五颜六色的蒲公英构成,象征着迁移学习历久弥新的现状和蓬勃发展的生命力。全书共300页,由16章内容构成。
《导论》得到了众多国内外顶级人工智能学者的一致好评:
-
杨强 微众银行首席人工智能官、香港科技大学讲席教授,ACM/AAAI/IEEE Fellow
-
周志华 南京大学教授,ACM/AAAI/IEEE Fellow
-
陶建华 中国科学院自动化研究所研究员,模式识别国家重点实验室副主任
-
秦涛博士 微软亚洲研究院首席研究经理,中国科技大学兼职教授
-
汪军 伦敦大学学院计算机教授
-
陈光 北京邮电大学副教授,新浪微博@爱可可-爱生活
为何要写《导论》?
迁移学习在近几年经历了 井喷式 的大发展,相关的研究工作如汗牛充栋。海量的参考文献面前,研究者们更难以发掘最有启发性的、最本质的内容,这好比雾里看花、水中望月。2020年百年不遇的新冠肺炎疫情给了我们更多的时间进行思考和总结。适逢杨强教授《迁移学习》专著的出版发行,笔者得以从中进行更深入的思考和总结。
另一方面,迁移学习不是一个 孤立 的领域。走上工作岗位之后,笔者对机器学习中的其他领域都进行了广泛的涉猎,这恰恰又使得笔者对迁移学习这一领域进行不断地思考与总结,从中得以提炼出最本质的内容。
因此,在电子工业出版社的再三邀请与帮助下,笔者启动了“写书”计划。除去工作日的正常上班之外,此书几乎耗尽了笔者2020年绝大多数公共假期和周末。
本书的组织安排
《导论》与手册有何不同?
简而言之,《导论》是 重写 的手册,它比手册更深入、对读者更友好、更适合入门。
本书重点考虑如何从学生入门的角度循序渐进地引入迁移学习的相关概念、问题、方法和应用。更重要的是,和其他参考书着重介绍某种方法不同,本书不再侧重阐述某类特定的方法或某篇特定的论文,而是试图从学生学习的视角,归纳总结不同类型的迁移学习方法,并结合笔者自己的理解和实践,总结成相关的文字材料。笔者希望这种“讲课”而非“学术报告”的方式能够让更多有志于迁移学习的同学更快地了解此领域,并将其应用于自己的问题。
对比之前的手册,《导论》增加了如下全新的内容:
-
全新的组织结构与写作模式,更方便从上层对知识进行梳理。
-
对迁移学习的历史、学术与工业界的现状的整理。
-
对概念、问题、方法更本质的归纳和分析。
-
对经典迁移学习理论的整理与讲解。
-
加入了大量新的研究内容:
-
基于权重的迁移学习方法一大类
-
预训练方法的重新整理归纳
-
更新的基于统计信息与几何特征迁移方法
-
知识蒸馏、基于结构自适应、基于解耦与数据生成的迁移方法
-
领域泛化 (Domain generalization)
-
元学习 (Meta-learning)
-
迁移学习的模型选择问题
-
-
诸多热门研究问题:类别不均衡、多源迁移、开放集迁移、时间序列迁移、联邦迁移、基于因果关系的迁移、自动迁移、以及在线迁移学习等内容。
-
更易上手的教程与实践代码。
-
更深入地讲解与归纳不同领域中的应用:
-
计算机视觉
-
自然语言处理
-
语音识别与合成
-
人机交互与普适计算
-
医疗健康
-
其他方面的应用(物理学、天文学、生物学、交通运输业、农业、银行、通信、金融等)
-
-
以及为方便读者理解、笔者自绘的数十幅插图。
后记
杨强教授的《迁移学习》专著相比本书在内容广度和深度上都更胜一筹。因此,读者在学习过程中,可以根据自己的需求同时参考两本书的内容,以便最大化学习效果。同时,与国内外诸多学生和专家学者相比,笔者亦深感自己能力之不足。书中如有错误和疏忽之处,恳请广大读者批评指正。
米开朗琪罗在无数个日夜里雕琢大卫的雄姿,爱德蒙·唐泰斯在凄风苦雨中等待复仇的良机,史铁生在地坛里顽强地探寻生命的意义,哈罗德也在栉风沐雨里完成他的朝圣和自我实现。2020年对所有人而言都是不平凡的一年,笔者相信,经历过疫情的中华民族会愈加强大,科技也会蒸蒸日上。同时,聪明的读者们也必将会在你们的领域里,越来越杰出。
在这本书里,我们不谈风月,只谈干货。
希望能帮到每一个热爱学习的你。
声明:本文转自“极市平台”公众号。
点击「链接」或「扫码」,《新程序员003》抢先看