迁移学习Transfer Learning学习笔记（1）

最新推荐文章于 2024-02-27 10:18:22 发布
最新推荐文章于 2024-02-27 10:18:22 发布
阅读量503 收藏 4
点赞数
分类专栏： transfer learning
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/weixin_39712314/article/details/107730162
版权

文章目录

学习资料：

迁移学习简明手册 作者：王晋东（十分感谢大佬的简明手册哇T T
这边就是做一个简单的笔记记录。

也可以看看b站上的小姐姐的 深度迁移学习综述 介绍视频：https://www.bilibili.com/video/BV1ct41167kV?from=search&seid=7812975734162869324

什么是迁移学习

让机器将在已知情况中学到的知识和积累的经验，迁移到其他不同但相关的此前没有遇到的情况中解决新的问题。
核心在于：找到两者的相似性，不变量。

迁移学习要解决什么问题

  1. 大数据与少标签之间的矛盾：迁移数据标注
  2. 大数据与弱计算之间的矛盾：模型迁移
  3. 普适化模型与个性化需求之间的矛盾：自适应学习
  4. 特定应用的需求：相似领域知识迁移

迁移学习的困难点

数学上的问题：如何衡量两个领域不同数据集间的距离
负迁移问题，在实时迁移学习时，实时的效果可能会受源领域的错误影响而下降。
通用的迁移学习算法能够指导输出一个自带迁移性能的模型
无法做到自动化迁移学习，即每遇到一个新领域，如何选择源领域/迁移学习算法/迁移策略

迁移学习的分类

  • 特征空间（标签空间）同构/异构
  • 目标域中是否有标签数据：有监督迁移学习，半监督迁移学习，无监督迁移学习（重点关注）
  • 离线（源域目标域均给定，迁移一次即可）/在线（数据动态加入，迁移算法也要不断更新）
  • 基于迁移学习的方法的分类：Instance实例，Feature特征，Model模型，基于关系的算法
    传统的方法：
    在这里插入图片描述

深度学习下的方法：（slide来自于视频）
基于对抗的，基于差异的，基于重构的（这里没有仔细了解，有空仔细看看
在这里插入图片描述

迁移学习的应用

finetune：
在这里插入图片描述
计算机视觉上的应用：
在这里插入图片描述
在这里插入图片描述
在这里插入图片描述
文本分类
时间序列
医疗健康
…

一些提到的算法（视频中）

基于差异的

无监督自适应分布
在这里插入图片描述

在这里插入图片描述
在这里插入图片描述
改进版：
在这里插入图片描述
改进：
在这里插入图片描述
改进：
考虑条件分布的差异
在这里插入图片描述

基于对抗的

在这里插入图片描述
在这里插入图片描述
改进：
在这里插入图片描述

在这里插入图片描述
类间对齐，引入语义信息进行对齐
在这里插入图片描述
在这里插入图片描述

重构方法

在这里插入图片描述
在这里插入图片描述
在这里插入图片描述

其他

在这里插入图片描述
在这里插入图片描述

在这里插入图片描述
多步迁移，异构迁移
在这里插入图片描述

下一章的学习笔记来提相关算法

提到的资料/文献

《A Survey on Transfer Learning》，Sinno Jialin Pan，Qiang Yang，
https://www.cse.ust.hk/~qyang/Docs/2009/tkde_transfer_learning.pdf

《迁移学习简明手册》，王晋东，
http://jd92.wang/assets/files/transfer_learning_tutorial_wjd.pdf

深度迁移学习综述
Wang, M., & Deng, W. (2018). Deep visual domain adaptation: A survey. Neurocomputing, 312, 135–153. https://doi.org/10.1016/j.neucom.2018.05.083
http://whdeng.cn/papers/deep%20domain%20adaptation%20tutorial-small.pdf

还有一些slide中的文献就不一一列出了

kukufufu
关注
  • 0
    点赞
  • 踩
  • 4
    收藏
    觉得还不错? 一键收藏
  • 0
    评论
专栏目录
数据分析-深度学习 Pytorch Day9
weixin_43902376的博客
01-23 727
换句话说，可以认为神经网络的前面几层学习到的是通用特征，随着网络的加深，后面的网络更偏重于学习到任务相关的特定特征，因此可以利用这种通用特征和任务相关的特定特征进行知识迁移。针对目前强化学习接入、训练都比价耗时的情况，利用预训练的模型可以显著的降低训练工作量，提升训练效果，预训练的模型在计算机视觉、NLP领域都取得了很大的成功，但是在强化学习领域，仍然是一个亟待研究的问题，后续我们可以考虑通用模型建模和预训练模型，从而进一步提升强化学习的训练效率和模型表现。生成器和判别器的互相博弈，就完成了对抗训练。
迁移学习(Transfer Learning)概述及代码实现(full version)
黄波波的博客
04-21 1万+
基于PaddlePaddle的李宏毅机器学习——迁移学习 大噶好，我是黄波波，一名入门不久自学AI的AI Trainer,宝可梦训练师（纯属业余）。希望能和大家共进步，错误之处恳请指出！ 百度AI Studio个人主页, 我在AI Studio上获得白银等级，点亮2个徽章，来互关呀~ 本项目是在飞桨深度学习学院提供的李宏毅-机器学习特训营课程。 Abstract 本文共分为两大部分：第一部分介绍迁移学习的主要概念以及类型，第二部分是实现迁移学习布置的作业——领域对抗性训练(Domain Advers
迁移学习入门（读王晋东博客）
LOSTB的博客
05-29 912
迁移学习入门
迁移学习(Transfer)
披风秃头侠的博客
03-14 6783
1. 什么是迁移学习 迁移学习(Transfer Learning)是一种机器学习方法，就是把为任务 A 开发的模型作为初始点，重新使用在为任务 B 开发模型的过程中。迁移学习是通过从已学习的相关任务中转移知识来改进学习的新任务，虽然大多数机器学习算法都是为了解决单个任务而设计的，但是促进迁移学习的算法的开发是机器学习社区持续关注的话题。 迁移学习对人类来说很常见，例如，我们可能会发现学习识别苹...
机器学习---迁移学习
最新发布
weixin_43961909的博客
02-27 1574
迁移学习是一种学习的思想和模式。迁移学习作为机器学习的一个重要分支，侧重于将已经学习过。的知识迁移应用于新的问题中。迁移学习的核心问题是，找到新问题和原问题之间的相似性，才可。定义：迁移学习，是指利用数据、任务、或模型之间的相似性，将在旧。迁移学习的原因概括为以下四个方面：大数据与少标注之间的矛盾；海量的数据，持续不断地训练和更新相应的模型，使得模型的性能越来越好，越来越适合特定场景。然而，这些大数据带来了严重的问题：总是缺乏完善的数据标注。领域学习过的模型，应用于新领域的一种学习过程。
A Survey on Transfer Learning知识迁移的总结.zip
04-11
迁移学习（Transfer Learning）是机器学习领域的一个重要分支，其核心思想是利用在源任务（Source Task）上学习到的知识来改善目标任务（Target Task）的学习性能。这种知识迁移的能力使得模型在面对小数据集或新...
Lecture_7_TransferLearning.zip
05-06
TensorFlow TransferLearning教程，直达博客Tensorflow 笔记 Ⅹ——Transfer Learning for Kaggle Dataset，详细解读 TransferLearning 原理，包括TensorFlow1.x 与 TensorFlow2.x 的高阶与低阶 API 的实现
综述笔记—A Survey on Transfer Learning
07-21
论文摘要：许多机器学习和数据挖掘算法中的一个主要假设是，训练数据和将来的数据必须在相同的特征空间中并且具有相同的分布。但是，在许多实际应用中，此假设可能不成立。例如，有时我们在一个感兴趣的领域中有一个...
使用 Jupyter 笔记本在 Python 中实现许多迁移学习算法_python_代码_下载
06-08
在压缩包文件“transfer-learning-algorithms-master”中，我们可以预见到一系列关于迁移学习算法的 Python 实现，可能包括预训练模型的加载、微调、特征提取等步骤。以下是一些常见的迁移学习算法及它们在 Python ...
论文笔记-2014ECML-ImportanceWeighted Inductive Transfer Learning for Regression.pdf
11-05
迁移学习试图通过适当补偿这样的数据集移动来解决这个任务。在这项工作中，我们假设协变量和因变量的分布可以在数据集之间任意不同。本文提出了两种基于重要性加权的回归方法。这里对辅助数据的每个实例都分配了一个...
迁移学习入门手册transfer_learning_tutorial_wjd.pdf
11-15
第 1 章介绍了迁移学习的概念，重点解决什么是迁移学习、为什么要进行迁移学习这 两个问题。 第 2 章介绍了迁移学习的研究领域。 第 3 章介绍了迁移学习的应用领域。 第 4 章是迁移学习领域的一些基本知识，包括问题定义，域和任务的表示，以及迁移 学习的总体思路。特别地，我们提供了较为全面的度量准则介绍。度量准则是迁移学习领域 重要的工具。 第 5 章简要介绍了迁移学习的四种基本方法，即基于样本迁移、基于特征迁移、基于 模型迁移、基于关系迁移。 第 6 章到第 8 章，介绍了领域自适应的 3 大类基本的方法，分别是：数据分布自适应 法、特征选择法、子空间学习法。 第 9 章重点介绍了目前主流的深度迁移学习方法。 第 10 章提供了简单的上手实践教程。 第 11 章对迁移学习进行了展望，提出了未来几个可能的研究方向。 第 12 章是对全手册的总结。 第 13 章是附录，提供了迁移学习领域相关的学习资源，以供读者参考。
迁移学习手册
04-10
迁移学习（Transfer Learning）是一种机器学习方法，是把一个领域（即源领域）的知识，迁移到另外一个领域（即目标领域），使得目标领域能够取得更好的学习效果。
迁移学习手册V1.1版本
06-18
本手册的编写目的是帮助迁移学习领域的初学者快速进行入门。我们尽可能绕开那些非常理论的概念，只讲经验方法。我们还配有多方面的代码、数据、论文资料，最大限度地方便初学者。作者是中科院计算所王晋东和重庆大学万震。并且Github开源，实属是不错，强烈推荐给大家阅读。
（原文+译文）2015_传递迁移学习_杨强团队_Transitive_Transfer_Learning.zip
03-07
摘要：传递迁移学习是利用源域知识来提高目标域学习能力的一种学习方法，已在各种应用中被证明是有效的。迁移学习的一个主要限制是源域和目标域应该是直接相关的，如果两个领域之间几乎没有重叠，则在这些领域之间执行知识转移将无效。受人类传递性推理和学习能力的启发，利用辅助概念将两个看似无关的概念通过一系列中间桥连接起来，本文研究了一个新的学习问题：传递性转移学习（transitive Transfer learning，简称TTL）。TTL的目的是在源域和目标域直接共享少量因素的情况下，打破大的域距离，传递知识。例如，当源域和目标域分别是文本和图像时，TTL可以使用一些带注释的图像作为中间域来桥接它们。为了解决TTL问题，我们提出了一个框架，首先选择一个或多个域作为源域和目标域之间的桥梁，实现转移学习，然后通过这个桥梁进行知识转移。大量的经验证据表明，该框架在多个分类数据集上产生了最新的分类精度。
王晋东博士迁移学习系列
02-17
“看了王晋东同学的“迁移学习小册子”， 点三个赞！ 迁移学习被认为是机器学习的下一个爆点，但介绍迁移学习的文章却很有限。 这个册子深入浅出，既回顾了迁移学习的发展历史，又囊括了迁移学习的最新进展。 语言流畅，简明通透。 应该对机器学习的入门和提高都有很大帮助！”
预训练模型迁移学习（Transfer Learning）
热门推荐
跟着大数据和AI去旅行
04-22 1万+
1、迁移学习 迁移学习在计算机视觉领域中是一种很流行的方法，因为它可以建立精确的模型，耗时更短。利用迁移学习，不是从零开始学习，而是从之前解决各种问题时学到的模式开始。这样，你就可以利用以前的学习成果(例如VGG、 Inception、MobileNet)，避免从零开始。我们把它看作是站在巨人的肩膀上。 在计算机视觉领域中，迁移学习通常是通过使用预训练模型来表示的。预训练模型是在大型基准数据集上训...
简述迁移学习（Transfer Learning）
大脸猫的博客
03-21 1万+
迁移学习定义 《深度学习》第526页对于迁移学习的定义：迁移学习和域适应指的是在一种环境中学到的知识被用在另一个领域中来提高它的泛化性能。
transfer方法详解
qq_54494937的博客
01-17 2043
ransfer方法的作用是把原table的Node放到新的table中，使用的是头插法，也就是说，新table中链表的顺序和旧列表中是相反的，在HashMap线程不安全的情况下，这种头插法可能会导致环状节点。 其中的while循环描述了头插法的过程，这个逻辑有点绕，下面举个例子来解析一下这段代码。 假设原有table记录的某个链表，比如table[1]=3，链表为3–>5–>7，那么处理流程为： /** * Transfers all entries from current
迁移学习方法学习
qq_34924057的博客
05-30 5877
目录迁移学习的概念迁移学习的分类按目标域标签分按学习方法分按特征分类按离线与在线形式分迁移学习的基本方法基于样本的迁移基于特征的迁移基于模型的迁移基于关系的迁移深度迁移学习深度网络的可迁移性最简单的迁移学习——finetune    迁移学习的概念   我们人类天生就有迁移学习的能力，比如：当你学会了怎么起电动自行车后，再去学习骑小摩托就会很容易上手。再比如：本科阶段学会了C语言，那么读了研究生，开始学习python或C++时，就会少了很多困惑。   迁移学习是一种学习的思想和模式 迁移学习的分类 按目标
第十一章_迁移学习1
08-03
第十一章 迁移学习11.1 迁移学习基础知识11.1.1 什么是迁移学习？11.1.2 为什么需要迁移学习？11.1.3 迁移学习的基本问题有哪些？11.1.4

“相关推荐”对你有帮助么？

  • 非常没帮助
  • 没帮助
  • 一般
  • 有帮助
  • 非常有帮助
提交
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值