李宏毅老师-概述领域自适应

最新推荐文章于 2024-05-25 11:16:24 发布
最新推荐文章于 2024-05-25 11:16:24 发布
阅读量539 收藏 8
点赞数 2
文章标签： 深度学习 机器学习 自然语言处理 人工智能
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/weixin_46675905/article/details/124856713
版权
李宏毅老师分享了关于领域自适应的概述，引导读者了解如何在深度学习和机器学习中应对不同领域的挑战，特别关注自然语言处理中的应用。一起踏上人工智能的学习之旅，共同成长。
摘要由CSDN通过智能技术生成

慢慢来，会更好！
大家好，我是一个想研究又不会研究的研究生
陪伴大家一起学习成长！

举一个例子，手写数字识别

但是假设训练资料和测试资料的分布不一样怎么办呢?
比如说训练的时候是黑白的，测试的时候是彩色的
一旦训练和测试分布不一样，那么在测试data上可能坏掉
那么，这种情况就叫做domain shift

相应的，我们就有一门技术来弥补这个不足，那就是domain adaptation
把一个domain（训练）学到的东西用在另一个domain（测试）上

在这里插入图片描述

domain shift有很多种可能

在这里插入图片描述

下面，我们主要学习一下手写数字的domain adaptation

在这里插入图片描述

怎么用这些大量未标注的资料来帮助我们在source domain上训练出一个模型，用在t
最低0.47元/天 解锁文章
想研究又不会研究的研究生
关注
  • 2
    点赞
  • 踩
  • 8
    收藏
    觉得还不错? 一键收藏
  • 0
    评论
domain adaptation
01-10
域适应的经典文章，cvpr，强化学习，迁移学习，核函数匹配
李宏毅--一天搞懂深度学习
12-06
李宏毅2018年最新版，一天搞懂深度学习，入门理解的最好资料
李宏毅老师机器学习课笔记-领域自适应以及增强学习part1
weixin_43113135的博客
06-19 234
【李宏毅机器学习】Domain Adaptation 域适应
发现问题，并解决问题，批判性思维
10-23 2138
我们希望特征处理器feature extractor处理source domain和target domain data后的向量，两者的向量分布都是差不多的（如上图的右下角，颜色接近）。迁移学习能解决很多时候训练集和测试集存在数据分布差异的问题，迁移学习的一种方法——domain adaptation域自适应，一般是表示域不同（数据集集合），但任务相同。fine-tune（微调）：是对已经训练好的模型，把整个这个模型放到另一个数据集上继续进行训练（其中参数继续发生变化）
【机器学习】李宏毅——Domain Adaptation(领域自适应)
FavoriteStar的博客
09-21 1669
本文介绍了Domain Adaptation(领域自适应)的相关知识，包括现在出现的具体问题、问题如何解决、所面对的各种情况等等。
迁移学习——Domain Adaptation
热门推荐
小花生的博客
07-08 5万+
Domain Adaptation 在经典的机器学习问题中，我们往往假设训练集和测试集分布一致，在训练集上训练模型，在测试集上测试。然而在实际问题中，测试场景往往非可控，测试集和训练集分布有很大差异，这时候就会出现所谓过拟合问题：模型在测试集上效果不理想。 以人脸识别为例，如果用东方人人脸数据训练，用于识别西方人，相比东方人识别性能会明显下降。 当训练集和测试集分布不一致的情况下，通过在训练...
领域自适应(Domain Adaptation)方法综述
SmartLab307的博客
04-27 8104
领域自适应(Domain Adaptation)方法综述
台大-李宏毅-B站机器学习视频-课件.zip
09-30
台大-李宏毅-B站机器学习视频-课件.zip台大-李宏毅-B站机器学习视频-课件.zip台大-李宏毅-B站机器学习视频-课件.zip台大-李宏毅-B站机器学习视频-课件.zip台大-李宏毅-B站机器学习视频-课件.zip台大-李宏毅-B站机器...
李宏毅老师深度学习PPT
11-18
李宏毅老师在深度学习领域的教学资源深受业界好评，他的课程覆盖了多种先进技术，包括元学习、终身学习和强化学习等。 元学习，也称为学习学习，是一种使机器学习模型能够快速适应新任务的方法。在元学习中，模型...
Deep Learning Tutorial 李宏毅 Hung-yi Lee
03-22
李宏毅和Hung-yi Lee合著的Deep Learning Tutorial是一份深入浅出的深度学习教程，旨在介绍深度学习的基本概念、技巧和最新进展。本文从以下几个部分详细介绍深度学习的相关知识点。 首先，教程指出深度学习为何会...
台大李宏毅-深度学习2017-ppt.zip
03-06
深度学习ppt
领域自适应（Domain Adaptation）的简单介绍
百年孤独百年的博客
05-30 8780
领域自适应（Domain Adaptation）是指通过学习源领域和目标领域之间的差异，来实现将源领域的模型迁移到目标领域的能力。在实际应用中，由于数据的获取和标注成本较高，我们通常会面临数据集不完整、不平衡、标注不准确等问题，这些问题会影响模型的泛化能力和性能。领域自适应可以帮助我们解决这些问题，提升模型的泛化能力和性能。
Domain Adaptation(领域自适应)
weixin_63778889的博客
05-25 735
我们可以训练一个在source domain 上难免表现很出色的模型，但是当target domian和source domain的数据分布不一样时候，我们之前在source domian上面训练的模型，在target domain上面表现可能不是很好。其中绿色长方形的代表我们从source domain和target domain提取的特征图（特征向量），我们要求来自两张图片（source domain 和target domain）出现的数据点（红色点和蓝色点）分布应该看起来一样，分不出差异。
Domain Adaptation
连理o的博客
09-20 370
本文为李宏毅 2021 ML 课程的笔记 目录Domain ShiftDomain AdaptationKnowledge of target domain: Little but labeledKnowledge of target domain: Large amount of unlabeled dataKnowledge of target domain: little & unlabeledKnowledge of target domain: NoneTo learn more....
领域自适应
RuanChengfeng的博客
03-26 1498
领域自适应就是要让编码器提取出来的特征，让领域判断器分辨不出来来自源域或者目标域（即领域不变），即提取不随领域变化而变化的特征，即两个域中共同的特征。这种模型的训练需要使用生成对抗网络的模式或者梯度反转。 ...
李宏毅机器学习笔记第17周_概述领域自适应（Domain Adaptation）
peaunt1的博客
08-01 864
Domain Adaptation
2021李宏毅机器学习（5）：Domain Adaptation
niexinyu0026的博客
02-18 1187
2021李宏毅机器学习（5）：Domain Adaptation1 Domain Shift2 Domain Adaptation2.1 Basic Idea——寻找 Feature Extractor2.2 Domain Adversarial Training2.2.1 Feature Extractor2.2.2 Domain Classifier2.2.3 Limitation2.2.4 类对齐问题3 其它情况3.1 Target Domain 极少Data3.2 对 Target Domain 一
【TL学习笔记】1：领域自适应(Domain Adaptation)方法综述
LauZyHou的笔记
06-21 4万+
1 迁移学习的直观理解 人类容易在类似的任务上利用先前的经验，比如学过自行车就很容易学会摩托车，学会打羽毛球也能帮助学习打网球，学过小提琴也会对学习二胡有帮助。也就是把一个领域上学习的知识迁移到另一个领域上，目的也是让计算机有举一反三的能力（大概是实现AGI的一个重要的坎），或者是去尝试充分利用已经训练过的某个领域的知识来解决当前的任务（这样可以解决数据少的问题）。 在迁移学习中要强调源域（Source Domain）、源任务（Source Task）、目标域（Target Domain）和目标任务（Tar
李宏毅机器学习HW5-Transformer数据
最新发布
08-11
李宏毅的机器学习课程中提到的HW5（作业5），可能涉及到Transformer模型在自然语言处理任务中的应用。Transformer是一种基于自注意力机制的深度学习模型，最初由Google在2017年提出的BERT（Bidirectional Encoder Representations from Transformers）就是其变种之一。 在HW5的数据部分，学生可能会接触到如何加载和预处理Transformer需要的文本数据，比如常见的英文文本数据集如IMDB电影评论、Twitter情感分析数据，或者是更专业的如WMT机器翻译任务的数据集。他们需要对数据进行分词（Tokenization）、编码（如使用WordPiece或SentencePiece）、填充零（Padding）、切分成训练、验证和测试集等步骤。 此外，可能还会涉及如何配置Transformer模型的结构参数（如头的数量、隐藏层的大小等）、调整优化器和学习率策略，并通过训练过程监控指标如 perplexity 或 BLEU分数来评估模型性能。
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值