目录
迁移学习就是让AI把在一个任务中学到的本事,拿来加速另一个任务的学习,实现“举一反三”。
一、通俗解释
想象你已经学会了打乒乓球,现在去学打网球,是不是会学得更快?因为你的眼力、反应速度、挥拍动作都可以“迁移”过去。这就是迁移学习的意思:AI模型在一个任务上学到的“经验”,可以拿来帮它更快学会另一个任务。
举个例子:
一个AI模型本来是用来识别猫和狗的,现在你想用它来识别老虎和豹子。与其重新从头教它“什么是动物”,不如直接在它已有的“识图能力”上稍作训练,这样更快、也更准确。
迁移学习就是让AI把旧知识“借过来”,用在新任务上,举一反三,事半功倍。
二、专业解析
迁移学习(Transfer Learning)是指在源任务(source task)中获得的知识被迁移到目标任务(target task)中,以提升在目标任务上的学习效率或性能。它打破了传统机器学习中“任务与数据必须完全一致”的前提,使得模型可以利用已有模型参数、特征表示或知识结构,加速新任务的学习。
1、主要类型:
基于特征的迁移:如使用预训练模型提取特征(如ResNet提取图像特征)。
基于参数的迁移:微调(Fine-tuning)预训练模型权重,例如在BERT基础上训练问答模型。
基于实例的迁移:通过加权或筛选,部分源任务样本参与目标任务训练。
基于关系/结构的迁移:如迁移图结构、任务相关性或神经元连接模式。
2、应用场景:
计算机视觉:图像识别、目标检测、医学影像
自然语言处理:语义理解、文本分类、小样本问答
医疗、金融、工业等领域的小样本学习问题
3、优势:
降低标注成本:减少对目标任务大量标注数据的依赖
提高泛化能力:跨任务共享知识提升模型鲁棒性
缩短训练时间:减少从零训练的资源与时间开销
三、权威参考
1、ISO/IEC 23053:2022(国际标准)
迁移学习是一种通过修改预先训练模型来执行不同相关任务的技术,旨在利用源领域的知识减少目标领域的数据需求和计算成本。
2、IEEE 2937-2022(国际标准)
迁移学习代表从一个任务中学到的知识转移到另一个任务的可能性,通过预训练模型的参数传递和微调(Fine-tuning),提升新任务的性能。
3、吴恩达(Andrew Ng)
迁移学习是继监督学习后,推动机器学习商业成功的核心驱动力,尤其在医疗、金融等数据稀缺领域。