迁移学习
迁移学习研究发展历程
悬崖勒码
这个作者很懒,什么都没留下…
展开
-
迁移学习系列--领域泛化
迁移学习的核心就是通过减少源域和目标域之间的分布差异,进而利用源域信息完成目标域的学习。与领域自适应问题强调适配源域与目标域之间的数据分布相比,领域泛化更强调有源域学习到的模型可以泛化到任意新出现的领域。领域自适应问题一般有一个目标域(或多个目标域),领域泛化问题没有这个要求,重点强调模型对任意未知的目标域都有一定的学习能力。领域泛化的两种基础模型:(1)将多个领域的数据合并并进行模型,得到一个共享模型(2)每个领域训练一个独立的模型,采用集成思想对未知目标域进行预测领域泛化常用方法:1. 基于原创 2021-06-16 16:50:50 · 3181 阅读 · 0 评论 -
迁移学习系列--深度迁移学习
深度迁移学习中比较常用的策略是预训练-微调但是预训练方法有其先天的不足:无法直接处理训练数据和测试数据分布不同的情况,同时微调时目标数据需要标签(无监督域适应场景不适合)。因此需要探索新的迁移模式,以广泛适应新的场景。1. 数据分布自适应的深度迁移学习方法1.1 边缘分布自适应例如,在特征层后面加入最大均值差异(MMD),用来计算源域与目标域之间的差异,并将其加入网络的损失找那个进行训练,促使网络学习域不变特征。另有方法采用多核MMD度量,也取得显著效果。1.2 条件、联合与动态分布自适应局部M原创 2021-06-15 23:46:22 · 2017 阅读 · 4 评论 -
迁移学习系列--方法篇
已有的迁移学习方法大致可以分为三类:(1)基于样本的迁移学习方法(2)基于特征的迁移学习方法(3)基于模型的迁移学习方法以下分别介绍上述三种类型的迁移学习方法:1. 基于样本的迁移学习方法核心思想:从源域数据集中筛选出部分数据,使得筛选出的部分数据与目标数据概率分布近似。1.1 基于样本选择的方法假设源域与目标域样本条件分布不同但边缘分布相似,可以根据基于距离度量的方法和基于元学习的方法等方法进行样本选择。1.2 基于样本权重的方法假设源域与目标域样本条件分布相似但边缘分布不同,通过概率原创 2021-06-15 19:44:18 · 5309 阅读 · 0 评论 -
迁移学习系列--迁移学习理论
1、域适应理论分类(1)基于差异的误差界限(2)基于积分概率矩阵的误差界限(3)基于PCA-Bayesain的误差界限基于差异的误差界限指出目标域泛化误差受源域期望误差和源域与目标域之间的分布差异影响。基于积分概率矩阵的理论主要包括优化传输和最大均值差异(MMD)两类。前者常用wasserstein(推土机)聚类度量。基于PCA-Bayesain的误差的理论,模型需要对一组分类器进行多数投票,根据其不一致性进行泛化误差的界定。迁移学习理解界限同一范式:...原创 2021-06-08 17:06:26 · 389 阅读 · 0 评论 -
迁移学习系列--基本问题
1 迁移学习目标利用源域数据学习一个目标域上的函数,使得目标域上的期望误差最小。2. 迁移学习基本问题2.1 何时迁移:判断当前任务是否适合进行迁移学习2.2 何处迁移:对什么进行知识迁移(神经网络权值、特征变换矩阵)2.3 如何迁移:迁移学习方法3 负迁移迁移学习指的是利用数据和领域之间存在的相似性关系,把之前学习到的特征,应用于新的未知领域。如果源域数据与目标域数据不相似,仍然强制迁移就会产生负面效果,称之为负迁移。引起负迁移的主要因素有:(1)源域数据质量过差(2)目标域质量过差原创 2021-06-08 10:36:04 · 1021 阅读 · 0 评论 -
迁移学习系列--迁移学习入门(1)
1.1 迁移学习“温故而知新,可以为师矣”-----《论语.为政》这句话大概的意思就是,在学习新知识的时候,如果能先对旧知识加以温习,可以获得新的理解和体会。凭借这样的能力,就可以当老师了。这意味着,在学习新知识的时候,可以寻找旧知识与新知识之间的相似点,帮助对新知识的理解和掌握。从旧知识到新知识过程,可以看成是知识迁移。类似的引出迁移学习:迁移学习可以利用数据、任务或模型之间的相似性,将旧领域学习过的模型和知识用于新的领域。迁移学习与传统有监督机器学习差异:**数据分布:**传统机器学习训练数原创 2021-06-07 20:16:28 · 418 阅读 · 0 评论