《迁移学习简明手册》阅读笔记——基本知识

最新推荐文章于 2024-07-01 15:32:01 发布
最新推荐文章于 2024-07-01 15:32:01 发布
阅读量1.8k 收藏 16
点赞数 3
分类专栏： 迁移学习 文章标签： 机器学习 深度学习 算法 迁移学习
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/qq_34219959/article/details/106027846
版权

文章目录

迁移学习的问题形式化

领域

领域 (Domain): 是进行学习的主体。领域主要由两部分构成:数据和生成这些数据的概率分布
涉及到迁移，所以对应于两个基本的领域:源领域 和 目标领域

任务

任务: 是学习的目标。任务主要由两部分组成:标签和标签对应的函数。
在这里插入图片描述

分类

  1. 按特征空间分
  • 同构迁移学习（Homogeneous TL）: 源域和目标域的特征空间相同，XS=XT
  • 异构迁移学习（Heterogeneous TL）：源域和目标域的特征空间不同，XS≠XT
  1. 按迁移情景分
  • 归纳式迁移学习（Inductive TL）：源域和目标域的学习任务不同
  • 直推式迁移学习（Transductive TL):源域和目标域不同，学习任务相同
  • 无监督迁移学习（Unsupervised TL):源域和目标域均没有标签

总体思路

迁移学习的核心：找到相似性

  1. 很好地度量两个领域的相似性，不仅定性地告诉我们它们是否相似，更定量地给 出相似程度。
  2. 以度量为准则，通过我们所要采用的学习手段，增大两个领域之间的相似 性，从而完成迁移学习。

度量准则

核心就是衡量两个数据域的差异
这里给出常用的度量手段，它们都是迁移学习研究中非常常见的度量准则

常见的几种距离

  1. 欧氏距离
  2. 闵可夫斯基距离
    在这里插入图片描述
  3. 马氏距离
    在这里插入图片描述

相似度

  1. 余弦相似度
  2. 互信息
    在这里插入图片描述
  3. 皮尔逊相关系数
    在这里插入图片描述
  4. Jaccard 相关系数
    在这里插入图片描述

KL 散度与 JS 距离

  1. KL 散度
    在这里插入图片描述
  2. JS 距离
    在这里插入图片描述

最大均值差异 MMD

最大均值差异是迁移学习中使用频率最高的度量。它度量在再生希尔伯特空间（ RKHS）中两个分布的距离，是一种核学习方法。两个随机变量的 MMD 平方距离为
在这里插入图片描述
将平方展开后， RKHS的内积就可以转换成核函数，所以最终 MMD 可以直接通过核函数进行 计算。
理解:就是求两堆数据在 RKHS 中的均值的距离。

Principal Angle

也是将两个分布映射到高维空间 (格拉斯曼流形) 中，在流形中两堆数据就可以看成两 个点。Principal angle 是求这两堆数据的对应维度的夹角之和。
在这里插入图片描述

A-distance

在这里插入图片描述

迁移学习的基本方法

模型迁移和特征迁移是重点

基于样本的迁移

根据一定的权重生成规则，对数据样本进行重用，来进行迁移学习。源域中存在不同种类的动物，如狗、鸟、猫等，目标域只有狗这一种类别。在迁移时，为了 最大限度地和目标域相似，我们可以人为地提高源域中属于狗这个类别的样本权重。

  1. TrAdaboost ：将 AdaBoost 的思想应用于迁移学习中，提高有利于目标分类任务的实例权重、降低不利于目 标分类任务的实例权重，并基于 PAC 理论推导了模型的泛化误差上界
  2. KMM核均值匹配方法：对于概率分布进行估计，目标是使得加权后的源域和目标域的概率分布 尽可能相近
    在这里插入图片描述
    这类方法通常只在领 域间分布差异较小时有效，因此对自然语言处理、计算机视觉等任务效果并不理想。基于特征表示的迁移学习方法效果更好，是我们研究的重点。

基于特征的迁移

假设源域和目标域含有一些共同的交叉特征，通过特征变换，将源域和目标域的特征变换到相同空间，使得该空间中源域数据与目标域数据具有相同分布的数据分布，然后进行传统的机器学习。优点是对大多数方法适用，效果较好。缺点在于难于求解，容易发生过适配
在这里插入图片描述

  1. 迁移成分分析方法 TCA：以最大均值差异作为度量准则，将不同数据领域中的分布差异最小化
  2. 基于结构对应的学习方法SCL：该算法可以通过映射将一个空间中独有的一些特征变换到其他所有空间 中的轴特征上，然后在该特征上使用机器学习的算法进行分类预测

基于模型的迁移

假设源域和目标域共享模型参数，是指将之前在源域中通过大量数据训练好的模型应用到目标域上进行预测，比如利用上千万的图象来训练好一个图象识别的系统，当我们遇到一个新的图象领域问题的时候，就不用再去找几千万个图象来训练了，只需把原来训练好的模型迁移到新的领域，在新的领域往往只需几万张图片就够，同样可以得到很高的精度。优点是可以充分利用模型之间存在的相似性。缺点在于模型参数不易收敛

在这里插入图片描述

  1. TransEMDT：对已有标记的数据，利用决策树构建鲁棒性的行为识别模型，然后针对无标定数据，利 用K-Means聚类方法寻找最优化的标定参数

基于关系的迁移

假设两个域是相似的，那么它们之间会共享某种相似关系，将源域中逻辑网络关系应用到目标域上来进行迁移，比方说生物病毒传播到计算机病毒传播的迁移
在这里插入图片描述

迁移学习的价值

  • 解决标注数据稀缺性
    大数据时代亿万级别规模的数据导致数据的统计异构性、标注缺失问题越来越严重。标注数据缺失会导致传统监督学习出现严重过拟合问题。目前解决数据稀缺性的方法有传统半监督学习、协同训练、主动学习等，但这些方法都要求目标域中存在一定程度的标注数据，而在标注数据稀缺的时候额外获取人工标注数据的代价太大。这时需要迁移学习来辅助提高目标领域的学习效果

  • 非平稳泛化误差分享
    经典统计学习理论给出了独立同分布条件下模型的泛化误差上界保证。而在非平稳环境（不同数据域不服从独立同分布假设）中，传统机器学习理论不再成立，这给异构数据分析挖掘带来了理论风险。从广义上看，迁移学习可以看做是传统机器学习在非平稳环境下的推广。因此在非平稳环境下，迁移学习是对经典机器学习的一个重要理论补充

iwtbs_kevin
关注
专栏目录
机器学习(Machine Learning)与深度学习(Deep Learning)资料汇总
ZhangPY的专栏
02-28 6695
《Brief History of Machine Learning》 介绍:这是一篇介绍机器学习历史的文章，介绍很全面，从感知机、神经网络、决策树、SVM、Adaboost到随机森林、Deep Learning. 《Deep Learning in Neural Networks: An Overview》 介绍:这是瑞士人工智能实验室Jurgen Schmidhuber写的最
[转]PKM－个人知识体系建设
dbbv11995的博客
07-20 1万+
这里集中了本站所有关于个人知识库、个人知识体系方面的文章，下面是展开的目录： PKM理论和方法 艾宾浩斯与他的遗忘曲线 记忆核系统 资料整理的方法 电子资料整理技巧 图书馆馆藏电子资料管理方法分析 浅谈资料...
迁移学习简明手册
09-08
最新的迁移学习简明手册的pdf版本，不用再用latax编译
深入理解最大均值差异（Maximum Mean Discrepancy, MMD）
最新发布
m0_53623159的博客
07-01 3460
MMD的基本思想是通过再生核希尔伯特空间（Reproducing Kernel Hilbert Space, RKHS）中的均值嵌入（mean embeddings）来比较两个分布。MMDPQ;
迁移学习简明手册（王晋东）
10-10
之前师姐分享给我的迁移学习简明手册（王晋东 中国科学院计算技术研究所） 编写逻辑围绕：是什么——介绍迁移学习；为什么——为什么要用迁移学 习、为什么能用；怎么办——如何进行迁移 (迁移学习方法)。
迁移学习简明手册（2018）.pdf
06-04
中国科学院计算技术研究所，王晋东大大。 该书简明地介绍迁移学习的概念与基本方法，并对其中的领域自适应问题中的若干代表性方法进行讲述。最后，简要探讨迁移学习未来可能的方向。
迁移学习——入门笔记
Yichair的博客
09-26 2479
一、简介 背景： 现如今数据爆炸： 对机器学习模型来说要求快速构建，强泛化 对于数据来说，大部分数据没有标签 所以收集标签数据和从头开始构建一个模型都是代价高昂的，需要对模型和带有标签的数据进行重用 传统机器学习：假设数据服从相同分布，但我们希望针对不同分布的数据，快速构建模型，实现数据标记 迁移学习(transfer learning)通俗来讲，就是运用已有的知识来学习新的知识，核心是找到已...
机器学习(Machine Learning)&深度学习(Deep Learning)资料
热门推荐
weixin_30756499的博客
07-07 1万+
##机器学习(Machine Learning)&深度学习(Deep Learning)资料(Chapter 1)---#####注:机器学习资料[篇目一](https://github.com/ty4z2008/Qix/blob/master/dl.md)共500条,[篇目二](https://github.com/ty4z2008/Qix/blob/master/dl2.md)开始更新...
测试知识点总结
weixin_44561103的博客
12-28 2810
1. B/S架构和C/S架构区别 一. B/S和C/S的定义 1.什么是B/S？ B/S结构（Browser/Server）是浏览器服务器这种开发模式， 就是只安装维护一个服务器(Server)，而客户端采用浏览器(Browse)运行软件 2.什么是C/S? C/S又称Client/Server或客户/服务器模式。需要做客户端服务器端 。服务器通常采用高性能的PC、工作站或小型机，并采用大型数据库系统，如Oracle、Sybase、Informix或 SQL Server。客户端需要安装专用的客户端软件。
机器学习迁移学习简明手册
03-06
机器学习迁移学习简明手册。 迁移学习作为机器学习的一大分支，已经取得了长足的进步。本手册简明地介绍迁移学习的概念与基本方法，并对其中的领域自适应问题中的若干代表性方法进行讲述。最后简要探讨迁移学习未来可能的方向。 本手册编写的目的是帮助迁移学习领域的初学者快速入门并掌握基本方法，为自己的 研究和应用工作打下良好基础。 本手册的编写逻辑很简单：是什么——介绍迁移学习；为什么——为什么要用迁移学习、为什么能用；怎么办——如何进行迁移 (迁移学习方法)。其中，是什么和为什么解决概念问题，这是一切的前提；怎么办是我们的重点，也占据了最多的篇幅。为了最大限度地方便初学者，我们还特别编写了一章上手实践，直接分享实现代码和心得体会。 迁移学习
迁移学习手册
10-17
基于深度实现自己模型的优化和压缩达到项目符合应用场景的工具手册
基于KL散度的转导转移学习
04-26
基于KL散度的转导转移学习
《迁移学习简明手册》学习笔记——概念、基础知识
m0_62861576的博客
09-04 137
机器学习解决的是让机器自主地从数据从获取知识，从而应用于新的问题中。迁移学习是机器学习的一个重要分支，侧重于将已学过的知识新的问题中。核心问题是——找到新问题和原问题之间的相似性。更学术的定义：迁移学习，是指利用数据、任务、或模型之间的相似性，将在旧领域学习过的模型，应用于新领域的一种学习过程。
《迁移学习简明手册》—学习笔记
studyeboy的专栏
05-08 1808
文章目录资料迁移学习基本概念概念迁移学习的目的与已有概念的区别和联系负迁移迁移学习的研究领域按目标域标签分按学习方法分类按特征分类按照离线与在线形式分迁移学习的应用计算机视觉文本分类时间序列医疗健康基础知识迁移学习的问题形式化总体思路度量准则迁移学习的理论保证*迁移学习的基本方法基于样本迁移基于特征迁移基于模型迁移基于关系迁移第一类方法：数据分布自适应边缘分布自适应条件分布自适应联合分布自适应动态...
迁移分支_资料 | 迁移学习简明手册
weixin_39705931的博客
01-12 85
下载地址：内容简介迁移学习作为机器学习的一大分支，已经取得了长足的进步。本手册简明地介绍迁移学习的概念与基本方法，并对其中的领域自适应问题中的若干代表性方法进行讲述。最后简要探讨迁移学习未来可能的方向。 本手册编写的目的是帮助迁移学习领域的初学者快速入门并掌握基本方法，为自己的研究和应用工作打下良好基础。 本手册的编写逻辑很简单：是什么——介绍迁移学习；为什么——为什么要用迁移学习、为什么能用；怎...
迁移学习_迁移学习简明手册(王晋东)_阅读笔记9
gXh的博客
11-24 1522
9.深度迁移学习 深度学习优势： 由于深度学习直接对原始数据进行学习，所以其对比非深度方法还有两个优势：自动化地提取更具表现力的特征，以及满足了实际应用中的端到端 (End-to-End) 需求。 最简单的深度迁移：fnetune 优势： 扩展： 深度网络自适应： fnetune有它的先天不足： 它无法处理训练数据和测试数据分布不同的情况。 自适应 能够使得源域和目标域的数据分布更加接近，从而使得网络的效果更好。 设计深度迁移网络的基本准则： 决定自适应层，然后在这些层加入自适应度量，最后对
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值