迁移学习总结(One Shot Learning, Zero Shot Learning)

最新推荐文章于 2025-03-24 09:32:19 发布
最新推荐文章于 2025-03-24 09:32:19 发布
阅读量1.8w 收藏 69
点赞数 9
分类专栏： 迁移学习 文章标签： 迁移
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/XJTU_NOC_Wei/article/details/77850221
版权
本文介绍了迁移学习的多种类型，包括Source Data与Target Data均有标签的情况下的Fine-tuning和Multitask Learning，Source Data有标签而Target Data无标签时的Domain-adversarial training和Zero-shot Learning，以及Source Data无标签但Target Data有标签的Self-taught Learning。文章通过实例解释了如何在不同标签情况下应用迁移学习，特别是强调了在Zero-shot Learning中如何利用特征细化进行类别推断。

摘要生成于 C知道 ，由 DeepSeek-R1 满血版支持， 前往体验 >

目录

迁移学习

综述

这段时间要做元学习相关的工作所以，首先对迁移学习了简单的学习分类，接下来会持续更新对于元学习论文的阅读还有理解。
以前接触最多的是图像的分类问题，我们将一个很大的数据集分为两个部分，一部分作为训练集，剩下的部分作为测试集。我们在训练集上面根据神经网络的基础算法比如back propagation 和 SGD算法对网络进行训练，训练结束之后用测试集对网络的泛化能力进行测试，通常用准确率表示。这就是简单的深度学习，这些学习任务的重点是训练出一个泛化能力很强的网络，由于是从相同的数据集里面抽离出来的，所以训练集还有测试集的种类都是相同的，没有多余的类。比如说，MNIST是一个简单的手写数字识别的库，训练集和测试集都是手写的数字，只包含0，1，2，3，4，5，6，7，8，9，0 十个数，不会让你完成其他的任务。
相类似的问题如下图：
这里写图片描述
可以看到在后面的两个任务里面做了我们看起来毫无关系的迁移学习，这实现起来是相当困难的，甚至可能不会取得很好的效果。
更多的例子见：1 and 2
下面我们对目前存在的迁移学习的种类进行分类，在迁移学习的学习任务中通常包括两个集合，Source Data还有 Target Data，source data。source data是我们解决问题之前就知道的相关的数据，它和Target任务之间存在一定的关系。Target Data

Source Data 与Target Data 都有标签

Fine-tuning

  • 任务描述：Source data: (xs
最低0.47元/天 解锁文章
零样本学习 (ZeroShot Learning)
AI天才研究院
09-29 1086
在传统的机器学习任务中，模型通常需要大量的标注样本来学习特征和模式，以实现准确的分类或预测。样本稀缺：某些领域或场景下，获取大量标注样本非常困难或成本高昂。新类别：随着时间推移，新的类别可能会出现，模型需要快速适应并识别这些新类别。迁移学习：在不同领域或数据集之间迁移知识，需要模型能够泛化到未见过的类别。为了解决这些问题，零样本学习（Zero-Shot Learning，ZSL）应运而生。ZSL旨在使模型能够对未见过的类别进行分类，即使没有或只有少量相关的训练样本。特征提取：提取样本的底层特征。
PyTorch深度学习实战（40）——零样本学习(Zero-Shot Learning)
盼小辉丶的博客
04-01 6208
零样本学习 (Zero-Shot Learning) 旨在解决传统监督学习中，当训练数据中不存在某个类别的样本时，如何对该类别进行分类的问题。在传统监督学习中，分类模型需要通过训练数据学习到每个类别的特征和模式，并在测试阶段根据这些学习到的知识对新样本进行分类。然而，在现实世界中，我们无法获得所有可能类别的训练样本，因此零样本学习成为了一种重要的解决方案。在本节中，我们将学习零样本学习的基本概念，并使用 PyTorch 实现零样本学习模型。
One-shot learning with Memory-Augmented Neural Networks
01-21
One-shot learning with Memory-Augmented Neural Networks,这是2016年arXiv的关于元学习的论文
One-shot Learning
Touch_Dream的博客
09-03 1万+
背景主要研究的是网络少样本精准分类问题，单样本学习能力！很明显，机器学习系统很希望拥有这种快速从少量样本中去学习的能力，因为收集和标记数据是一个耗时费力的工作。而且，我认为这是通往通用人工智能的漫漫长路中很重要的一步。主要的研究就是单样本多类别问题，一个样本多个label，也就是弱监督！Baseline：近邻最简单的分类方式是使用k-近邻，KNN方法，但是因为每个类别只有一个样本，所以我们需要用1近
零样本学习（Zero-shot learning）以及它与少样本学习（Few-shot learning）、单样本学习（One-shot learning）、监督学习（Supervised learn
最新发布
hh051020的博客
03-24 506
零样本学习利用辅助语义信息，在没有任何目标类别样本的情况下进行预测，适合应对类别众多或不断扩展的应用场景。少样本学习和单样本学习则侧重于如何在只有极少数据的情况下提取足够信息进行分类，两者主要区别在于每个类别可用的样本数。监督学习是依赖充足标注数据的传统方法，其难点在于数据采集与标注的成本。除此之外，“shot”范式还包括多样本（many-shot）、通用的 k-shot 以及一些结合跨域、半监督等情形的变体，都是为了应对现实应用中数据不足或数据分布差异等问题而发展出的迁移学习策略。
迁移学习总结
gbz3300255的博客
05-07 281
直接上链接 https://www.jianshu.com/p/07426ba049b6
什么是one-shot learning
junbaba_的博客
11-27 5823
什么是one-shot learning ​ Zero-shot learning 指的是我们之前没有这个类别的训练样本。但是我们可以学习到一个映射X->Y。如果这个映射足够好的话，我们就可以处理没有看到的类了。 比如，我们在训练时没有看见过狮子的图像，但是我们可以用这个映射得到狮子的特征。一个好的狮子特征，可能就和猫，老虎等等比较接近，和汽车，飞机比较远离。 ​ One-shot learning 指的是我们在训练样本很少，甚至只有一个的情况下，依旧能做预测。 ​ 这是如何做到呢？可以在一个大数据
One-Shot Learning
冰雪棋书的博客
11-02 578
1、意义 减少训练数据 1.深度学习需要大量的数据 2.MNIST为了10个类别的区分，需要60000张训练图像，平均一个类别需要6000张训练图像 3.One-Shot试图将一个类别的训练图像减少，极端情况减小到一张图片 在新类别的数据出现时，无需重新训练 1.传统的深度神经网络无法处理没有出现在训练集中的类别 2.以员工刷脸打卡为例，使用传统深度神经网络，每一个新员工入职，都是一个新的类别，需要重新训练深度神经网络 3.如果每天都有新员工入职，每天都需要重新训练网络，成本非常高 4.O
元学习综述，meta learning，A Survey of Zero-Shot Learning + poster
07-09
零样本学习（Zero-Shot Learning）是元学习的一个重要应用领域，它挑战了机器学习的传统边界，目标是让模型在没有看到过任何特定类别的实例时，也能识别这些类别。这通常通过利用类别之间的语义关系，如预先定义的...
深度学习: Zero-shot Learning / One-shot Learning / Few-shot Learning
邦戈邦戈栗子的博客
11-20 580
Introduction 在 迁移学习 中，由于传统深度学习的 学习能力弱，往往需要 海量数据 和 反复训练 才能修得 泛化神功 。为了 “多快好省” 地通往炼丹之路，炼丹师们开始研究 Zero-shot Learning / One-shot Learning / Few-shot Learning。 爱上一匹野马 (泛化能力)，可我的家里没有草原 (海量数据) 。 Learning类型 分...
One-Shot学习/一次学习（One-shot learning）
csdn_xmj的博客
05-25 1万+
来源：Coursera吴恩达深度学习课程 人脸识别所面临的一个挑战就是需要解决一次学习问题（one-shot learning problem），这意味着在大多数人脸识别应用中，你需要通过单单一张图片或者单单一个人脸样例就能去识别这个人。而历史上，当深度学习只有一个训练样例时，它的表现并不好，让我们看一个直观的例子，并讨论如何去解决这个问题。 假设数据库里有4张员工照片（deeplearning.ai的员工），分别是Kian，Danielle，Younes和Tian。现在假设有个人来到办公室，并且她
迁移学习总结仅供参考
05-29
目前迁移学习的进展，参考了一些资料做的总结，希望能够对大家的研究提供帮助~~
迁移学习相关论文和个人总结
11-10
有关迁移学习的相关论文和资料，并且附加上个人的总结。
One Shot Learning（单样本学习） with Siamese Networks （孪生网络）using Keras
qq_42580533的博客
06-14 1314
目录： 1.介绍 2.先验知识 3.classfication vs one shot leanrning 4.应用 5 omnilog 数据集 6.加载数据集 7.映射问题到二分类 8.模型的架构与训练 9.KNN模型 10.随机模型 11.测试结果和展望 12.结论 13.参考文献 1. 介绍 卷积神经网络是图像分类领域的最新方法可以说，但是卷积神经网络我们都知道需要非常庞大的数据集来支撑，万一我们无法收集到这些数据集怎么办呢? one shot learning就来啦~ 2.先验知识 有一些关于
Transfer learning迁移学习小结
qq_43733107的博客
05-29 242
Transfer learning迁移学习小结
迁移学习心得，OpenStack
lilicheung的专栏
07-06 1230
最近一直在看有关OpenStack里迁移方面的情况，也顺便往下看了下QEMU里关于migration的实现。在这里分享一下自己学习的体会。 我看的OpenStack为g版本，不久将至的h版本在migration方面应该没有太大的改变。（至少没有从f到g来的大） OpenStack关于migration可以分为两类，migration和livemigration，migration进入dashb
Zero-shot Learning / One-shot Learning / Few-shot Learning
weixin_30446613的博客
08-28 278
Zero-shot Learning / One-shot Learning / Few-shot Learning Learning类型：Zero-shot Learning、One-shot Learning、Few-shot Learning、Traditional Learning Zero-shot Learning（零次学习ZSL）：训练集中没有出现过的类别，就能自动创...
小样本学习(one/few-shot learning)
热门推荐
朴素.无恙的博客
04-03 6万+
原文：https://blog.csdn.net/mao_feng/article/details/78939864 原博地址：https://blog.csdn.net/xhw205/article/details/79491649 小样本学习 来源：我们人类是具有快速从少量（单）样本中快速学习能力的，其实在我们学习的过程中，人类的大脑将对象和类别组成有用的信息将之分类。 首先需要声明的是，小样...
迁移学习论文阅读感想（初步）
Yshao的博客
08-27 4182
之前读了一篇名为《A Survey on Transfer Learning》的文章，写了如下  学习Transfer Learning心得体会 1.迁移学习的基本概念 迁移学习即一种学习对另一种学习的影响，它广泛地存在于知识、技能、态度和行为规范的学习中。任何一种学习都要受到学习者已有知识经验、技能、态度等的影响，只要有学习，就有迁移。 从一开始接触这个新的名词的时候，我很好奇学习的知识...
zero-shot和迁移学习
01-12
### Zero-Shot 学习与迁移学习的概念、区别及应用场景 #### 定义与概念 Zero-shot 学习是一种机器学习范式，在这种情况下，模型能够识别未见过的数据类别。这通常通过利用辅助信息来实现，比如属性描述或其他形式的知识图谱[^2]。 相比之下，迁移学习是指将在一个领域或任务上学到的知识应用到另一个不同但相关联的任务上。这种方法可以显著减少新任务所需的训练时间和资源需求[^1]。 #### 主要区别 - **数据依赖度**：零样本学习几乎不需要目标类别的标注实例；而迁移学习则至少部分依赖于源域内的标记数据。 - **适用场景**：当面对完全未知的新对象分类时，零样本学习更为有效；对于有相似特征分布的不同任务间传递经验，则更适合采用迁移学习策略。 - **机制原理**：零样本学习依靠外部知识库（如语义向量空间）建立已知和未知类间的联系；迁移学习则是基于共享表征的学习框架，调整参数以适应新的环境条件。 #### 应用案例分析 ##### Zero-Shot 学习的应用场景 1. 图像识别中的细粒度分类——即使某些特定物种从未出现在训练集中也能被正确辨认出来； 2. 自然语言处理里的实体链接任务——能够在没有事先遇到过的实体名称的情况下做出合理预测； 3. 跨语言理解能力提升——借助跨语言词典使得系统可以在一种语言中学会的东西应用于其他多种语言环境中去。 ##### 迁移学习的应用场景 1. 计算机视觉领域内从大规模通用图片数据库迁移到特定行业的小规模定制化图像集合上的再训练过程； 2. 文本情感分析方面，先在一个大型评论网站上构建基础模型之后再针对某电商平台商品评价做微调优化工作； 3. 语音合成技术里把一个人的声音特性转移到另一个人身上从而创造出逼真的模仿效果。 ```python # 示例代码展示如何简单模拟两种学习方式的效果对比 import numpy as np def zero_shot_learning(example_input): # 假设这里有一个预先定义好的映射关系用于推断未曾见过的例子 unseen_class_mapping = {"new_object": "predicted_category"} return unseen_class_mapping.get(str(example_input), "unknown") def transfer_learning(pretrained_model, new_dataset): # 对预训练模型进行微调操作以便更好地适用于新数据集 fine_tuned_model = pretrained_model.fit(new_dataset) return fine_tuned_model.predict(new_dataset) example_data_for_zero_shot = 'unseen_example' print(f"Zero-Shot Prediction: {zero_shot_learning(example_data_for_zero_shot)}") pre_trained_classifier = lambda x: ['positive' if i%2==0 else 'negative' for i in range(len(x))] new_samples = ["sample_{}".format(i) for i in range(5)] predictions_after_transfer = transfer_learning(pre_trained_classifier, new_samples) print(f"After Transfer Learning Predictions on New Data: {predictions_after_transfer}") ```
评论 6
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值