李宏毅机器学习（七）自监督学习（二）BERT奇闻轶事

最新推荐文章于 2024-10-21 17:40:36 发布
最新推荐文章于 2024-10-21 17:40:36 发布
阅读量255 收藏
点赞数 1
分类专栏： 知识图谱 机器学习基础 文章标签： 知识图谱
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/qq_35222729/article/details/119593528
版权
本文探讨了BERT模型如何利用上下文信息进行词义理解，通过word embedding将同一词汇在不同语境中表示为不同向量。实验显示，预训练时不同语言但相同词汇在BERT后的向量距离相近，使得经过英文微调的BERT模型能解答中文问题，准确率达到78%。此外，文章还提到尽管句子间存在差距，BERT仍能捕捉语言间的相似性。
摘要由CSDN通过智能技术生成

WHY does BERT work？

BERT会考虑上下文！ 进行Word Embedding！将一个单词表示成向量，比如苹果单词中的“果”和苹果公司中的“果”，在经过Embedding后虽然同样是同一个词，但是由于上下文不同，所以vector距离是远的！ 不一样的表示！ 但是相同语境的“果”则距离比较近！

在这里插入图片描述
接下来我们计算两个果的相似度！

可以看出对角的关系还是比较近的

为什么你能知道一个单词的意思呢？ 这个人说了： 你要知道一个单词的意思，就得根据它的上下文决定的！ 所以即使你将该单词盖住，这个单词还是会被预测出。 在BERT之间其实已经有该技术了，就是word Embedding！word Embedding是一个简单的模型，就是两个Transformer！ 有人就问，为什么只是Transformer，不能是其它的更加复杂的结构，为什么只是linear，不能是deep learning？ 因为只是因为算力的问题！

Multi-lingual BERT

这有啥特别之处呢？ 就是你会将加入不同语言的输入

我们通过使用不同的语言的单词训练模型，在该模型English的QA上进行Fine-tune训练模型时，居然可以回答中文问题

可以看到即便是在English上fine-tune的Bert模型，最终回答中文问题准确率也可以达到78%

为什么会这样呢？ 因为在预训练的时候，不同语言但是相同的词汇在经过Bert后距离很近！

我们通过实验来验证两种语言的word embedding的距离！ 其中MRR就是这个指标，它的值越大，表明两个语言越接近！
起初我们使用的是200k句子来做实验，但是各种调参都没发现模型更好的效果；
但是后面想是不是句子的规模不够？ 索性增加到1000k，发现模型的效果很好！

但是还是感觉怪怪的! 因为你在做语言填空的时候，你将汉语输入Bert里，它给你补全了汉语； 你用英语输入Bert里，它给你不劝了英语，它不会给你互相补充。 这说明句子与句子之间还是有差距的！

我们通过计算两种语言之间的总体的差距，并表示成向量！ 之后再在Bert后加向量，就是最后的结果！

后面的是真实的实例：
这是无监督的！
追赶早晨
关注
专栏目录
【ML】 李宏毅机器学习课件及代码.zip
04-02
机器学习的主要类型包括监督学习、无监督学习和半监督学习。在监督学习中，算法根据已知标签的数据集进行训练，以便对未知数据进行预测，例如分类任务（判断邮件是否为垃圾邮件）或回归任务（预测房价）。无监督学习...
李宏毅机器学习全套资料
08-31
《李宏毅机器学习全套资料》是一份全面深入的机器学习教育资源，主要涵盖了教学演示文稿、作业解决方案以及详尽的课程内容。这份资源对于想要深入理解和掌握机器学习这一领域的学习者来说，无疑是一份宝贵的参考资料...
ALBERT: 自监督语言表示的轻量级BERT
十里清风
08-22 1655
文章目录引言词向量因式分解（Factorized embedding parameterization）跨层参数共享（Cross-layer parameter sharing）内部句子一致性损失（Inter-sentence coherence loss） 【Reference】 引言 预训练模型使得一些缺乏训练数据的下游任务表现良好，大力出奇迹，大型网络是获得SOTA性能的关键，但随着模型大小的增加，内存占用和训练时间都会增加。那么是否有比大型模型更简单、性能更好的模型？ ALBERT使用两种缩减参数
学习笔记|BERT——自监督学习的典范
oXiLang的博客
03-09 1643
BERT的全称是Bidirectional Encoder Representation from Transformers，即双向Transformer的Encoder。因此BERT的网络架构和Transformer的Encoder是一样的，BERT的任务就是输入一个序列，然后输出一个序列，输出序列和输入序列的长度是一样的。通过Transformer中的自注意力机制，BERT具有考虑序列全局的能力。
机器学习--06自监督学习BERT模型
m0_47588836的博客
11-28 217
self-supervised learning里面有一些模型这些模型都是巨大的模型，这次就来以bert模型为例子来讲解self-supervised。我们之前学习的模型都是supervised，就是通过输入标注数据给我们设计的模型，然后得到想要的输出结果，而self-supervised就是让数据自己想办法给自己打上标注==》把数据分为两部分，一部分输入到模型里面得到输出，一部分作为模型的标注，然后把得到的输出和模型的标注进行比较，越相近越好。
【李宏毅深度学习CP18-19】自监督学习之BERT
发现问题，并解决问题，批判性思维
08-20 2516
学习心得 （1）BERT（Bidirectional Encoder Representation from Transformers）相关的很多算法名字来源于芝麻街哈哈。BERT的架构实际上是transformer中的Encoder，同样里面有很多Self-Attention和Residual connection，还有Normalization等等。 （2）BERT的基本模型结构由多层Transformer构成，包含2个预训练任务：掩码语言模型（Mask Language Model，MLM）和下一个句
2023/8/20周报 自监督学习
user_s1的博客
08-20 341
本周通过对自监督学习的一些案例进行学习从而了解了自监督学习的一些基础概念。自监督学习是无监督学习里面的一种，也被称作pretext task。自监督学习主要是利用辅助任务从大规模的无监督数据中挖掘自身的监督信息，通过这种构造的监督信息对网络进行训练，从而可以学习到对下游任务有价值的表征。找到合适的辅助任务（pretext）对于自监督学习是最需要解决的问题。与数据特点相比，辅助任务难一些有助于性能提升。数据和资源越多，自监督预训练的效果会更好（Bert）。
李宏毅机器学习hw4.zip
04-08
机器学习是一门多领域交叉学科，涉及概率论、统计学、逼近论、凸分析、算法复杂度理论等多门学科。它专门研究计算机怎样模拟或实现人类的学习行为，以获取新的知识或技能，重新组织已有的知识结构使之不断改善自身的...
李宏毅机器学习HW5.zip
04-08
机器学习是一门多领域交叉学科，涉及概率论、统计学、逼近论、凸分析、算法复杂度理论等多门学科。它专门研究计算机怎样模拟或实现人类的学习行为，以获取新的知识或技能，重新组织已有的知识结构使之不断改善自身的...
李宏毅机器学习2021HW3食物数据集
06-01
总的来说，《李宏毅机器学习2021HW3食物数据集》是一个极具价值的资源，不仅提供了丰富的食物图像，还提供了半监督学习的机会，这对于提升深度学习模型在食物识别领域的性能具有重要意义。通过这个数据集，研究人员...
自监督学习
weixin_40642114的博客
02-12 8236
自监督学习的定义 自监督学习属于无监督学习，模型直接从无标签数据中自行学习一个特征提取器，无需标注数据； 自监督学习与传统的无监督学习的不同点是：它利用无标签数据本身，构造一个辅助的任务，针对这个辅助任务，可以从数据本身中得到标签。然后有监督的训练网络。 自监督学习的目的就是利用无标签数据训练出来一个feature提取器（一个CNN网络）从而能够对下游任务的训练有所帮助。 总的来说就是： 自监督学习主要是利用辅助任务（pretext）从大规模的无标签数据中挖掘自身的监督信息，通过这种构造的监督信息对网络进
自监督学习：人工智能中的暗物质，来自Facebook AI Yann LeCun
AI公园
05-19 307
点击上方“AI公园”，关注公众号，选择加“星标“或“置顶”因公众号更改了推送规则，记得读完点“在看”~下次AI公园的新文章就能及时出现在您的订阅列表中作者：Yann LeCun，Ishan...
自监督Self-supervied 学习笔记
weixin_45928096的博客
09-26 1621
自监督学习的思想很简单，设计一个辅助训练目标，然后利用大量无标注的数据本身的结构或者特性【标签不需要人工标注】，训练网络使得网络具备特征提取的能力。 在网络具备特征提取能力后，通过少量的有标注的数据对网络进行微调，使得网络具有分类的能力。 总之，自监督的监督信号来源于数据本身的内容，也就是自己给自己监督信号(self的含义)。也可以认为是实例级别的标注，每个样本是一个类。
机器学习笔记5-4：自监督学习
Acetering的博客
10-06 639
*注:本博客参考李宏毅老师2020年机器学习课程. 视频链接 目录1 自监督学习的概念2 BERT2.1 BERT简介2.2 BERT的使用2.2.1 Sentiment Analysis（情感分析）2.2.2 POS（词性标记）2.2.3 Natural Language Inferencee（NLI，自然语言推论）2.2.4 Extraction-based Question Answering（QA）2.3 BERT的预训练2.4 BERT预训练的原理（猜想）2.5 Multi-lingual BER
【轩说AI】自监督学习 + BERT
m0_57089390的博客
02-27 596
监督学习的部分则作为网络的下游，将Bert的输出作为Linear层的输入，再输出得到分类结果class，与真实的词性label求loss，做参数优化。如图将[cls]+qestion+[sep]+document输入BERT，然后随机初始化两个和bert输出的vector同维度的vector，如图红色和蓝色的vector，然后做类似attention的Q*K的操作，将得到的一组和document同等长度的inner product值过softmax，红色向量求出s的值，蓝色向量求出e的值。
自监督学习（self-supervised learning）（20201124）
WallE
11-24 1万+
看论文总是会看出来一堆堆奇奇怪怪的名词。 从远程监督、有监督、半监督、无监督开始，最近又看到了一个自监督。 首先先对上面的概念进行简述： 半监督（semi-supervised learning）：利用好大量无标注数据和少量有标注数据进行监督学习； 远程监督（distant-supervised learning）：利用知识库对未标注数据进行标注； 无监督：不依赖任何标签值，通过对数据内在特征的挖掘，找到样本间的关系，比如聚类相关的任务。 自监督：利用辅助任务从无监督的数据中挖掘大量自身的信息。
自监督学习 | (1) Self-supervised Learning入门
热门推荐
sdu_hao的博客
02-26 11万+
原文地址 本文通过整理自监督学习的一系列工作，把主流方法分成三大类，方便大家更全面的了解自监督学习的定义、方法、用途。 学习的范式 我们首先来回顾下机器学习中两种基本的学习范式，如图所示，一种是监督学习，一种是无监督学习（林轩田课程中把机器学习范式分为监督学习、半监督学习、无监督学习以及强化学习）。 监督学习利用大量的标注数据来训练模型，模型的预测和数据的真实标签产生损失后进行反向传播（计算梯度...
自监督学习（Self-Supervised Learning）介绍
最新发布
DuHz的博客
10-21 1191
自监督学习是一种机器学习方法，它介于监督学习和无监督学习之间。与监督学习依赖大量标注数据不同，自监督学习通过利用未标注的数据生成伪标签或预训练任务，从而学习数据的内部结构和特征表示。这使得自监督学习能够在缺乏标注数据的情况下，仍然有效地训练出高性能的模型。核心理念预训练与微调：首先在大规模未标注数据上进行预训练，学习通用的特征表示；然后在特定任务上进行微调，适应具体应用需求。任务设计：通过设计预训练任务，让模型自主学习数据中的模式和关系。例如，预测被遮挡的词语或图像区域。
李宏毅机器学习课程：深度自编码器与无监督学习
"该资源是台湾大学李宏毅教授在B站发布的机器学习课程相关课件，主要涉及无...李宏毅教授的课件深入浅出地介绍了深度自编码器的概念、结构及其在无监督学习中的应用，是学习机器学习特别是无监督学习方法的宝贵资源。
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值