[李宏毅老师深度学习视频] BERT介绍

最新推荐文章于 2024-05-21 09:49:01 发布
最新推荐文章于 2024-05-21 09:49:01 发布
阅读量590 收藏 3
点赞数 2
分类专栏： 学习ML+DL 文章标签： 深度学习 bert 自然语言处理
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/weixin_42198265/article/details/126551493
版权

Bert

1、self-supervised

什么是supervised和self-supervised？

supervised（监督学习）

  • 给多个文章，标注出是正面还是负面的，放入model里面，得到最后的结果

self-supervised（自监督学习）

  • 给定一个文章，把文章分成俩份，x’与x"，让x’放入model中训练，得到的y与x"越接近越好

在这里插入图片描述

2、Bert的俩个任务

2.1、masking input

什么是masking input？

  • 在一串文字中，随机mask一些数字，然后过一层Bert，将刚才mask的位置进行依次linear再softmax进行输出概率，得到概率最大的汉字，最后将得到的汉字与本身的汉字进行cross entropy，结果越小模型越好。

其中，mask的方法可以是用一些特殊字符进行代替，也可以是随机一些汉字；对于Bert本身，就是transformer中的encoder部分
链接：transformer的encoder解释

在这里插入图片描述
在这里插入图片描述

2.2、next sentence prediction

什么是next sentence prediction？

  • 给定俩个句子，用[sep]进行句子划分区别两个句子，过一层Bert以后，将cls进行liner再softmax，得到的yes或者no（句子1和句子2是否是相连接的句子）

为什么是对cls进行linear而不是其他汉字呢？

  • 其实也可以用句子1和句子2中的汉字，但是这样会导致一个问题（假如采用的是句子2中的w3作为linear的输入，此时结果判断说句子1和句子2是承上启下的，那会不会是因为我们选择的输入是句子2里面的，所以说对结果有干扰呢？）为了避免此类问题，所以说用的cls。

那cls和句子会不会一点关系都没有呢？

  • 其实不会，因为Bert的部分就让每个输入的汉字之间存在一定的联系（具体可以看Bert的架构）

有研究人员表示：next sentence prediction部分并没有什么有用的价值

在这里插入图片描述

3、pre-train and fine-tune

pre-train是什么？

  • Bert的部分就是pre-train部分，属于self-supervised learning

fine-tune是什么？

  • 基于上游中训练好的Bert，进行一系列任务，叫做fine-tune。一般我们称要做的任务为下游任务

在这里插入图片描述

4、Bert在nlp中的四大案例

4.1、分类问题

输入：语句
输出：分类

例子：输入一句话，得到这句话是正面的还是负面的

如何用Bert进行的呢？

  • 先给一个cls+句子进行Bert输入，然后对输出的cls部分进行linear和softmax，得到分类class。

其中，原本用随机的embedding对句子进行编码，现在用Bert进行编码，效果大幅度好于随机。

在这里插入图片描述

4.2、同长输出

输入：n个词的句子
输出：n个词的句子

例子：给定一个句子，输出每个词语的词性

此时是将Bert输出的全部向量进行linear处理再softmax，进行class分类词性

在这里插入图片描述

4.3、两句子分类

输入：俩个句子
输出：一个分类结果

例子：一个句子是：我请你去喝茶搞不搞？另一个句子是：我今天要上天与太阳肩并肩飞翔。这俩个句子明显就不是一类的，都放入model中进行分类，得到结果

在这里插入图片描述

如何操作呢？

  • 把俩个句子都输入，中间用[sep]隔开，过Bert后的cls输出结果进行linear和softmax，得到class结果

在这里插入图片描述

4.4、QA问题（仅限答案在已知文本中）

输入：问题文本+答案文档（其中答案文档：答案在这个文档里面）
输出：答案的具体定位

操作：

  • 1、随机初始化俩个向量（橙、蓝）
  • 2、先让橙与答案的文本进行点积，过一个softmax得到最优的结果，记录当前的文字在全文的位置，记为s
  • 3、再让蓝与答案的文本进行点积，过一个softmax得到最优的结果，记录当前的文字在全文的位置，记为e
  • 4、s和e之间的文本，就是最后的答案定位区域

在这里插入图片描述
在这里插入图片描述在这里插入图片描述

5、Bert的一些小问题解释

从0开始训练Bert几乎是一个不可能的事情，因为需要花费太久太久了。

谷歌做了一个30亿的数字训练的Bert（相当于3000倍的哈利波特全集）用TPU v3训练8天才得到结果！！！（简直太难了）

在这里插入图片描述

预训练用于seq2seq模型
在这里插入图片描述

不同的语句设计方式
在这里插入图片描述

6、why does Bert work？

为什么Bert好用？- 因为相同意思的词向量在同一块区域中
在这里插入图片描述

对上述进行实际例子测试：用5个包含苹果句子（吃的苹果）和5个包含苹果句子（苹果手机）的例子进行测试

在这里插入图片描述
在这里插入图片描述
在这里插入图片描述

7、一些奇奇怪怪的Bert结果（玄学）

  • 7.1、用英文训练的模型，去做中文的问答问题，效果还不错？？？？在这里插入图片描述

  • 7.2、效果对比图。在基于104种语言的训练模型，采用中英文交杂的文章进行fine-tune的时候，测试文章采用中文的结果居然极其的好，逼近人类的结果（93%）在这里插入图片描述

  • 7.3、反向思维。将中文和英文单词对应的词向量进行区域确定，然后得到一个中文词向量与英文词向量之间的差距矩阵，如果将一个英文的词向量进行一系列操作得到对应的中文词向量，似乎就可以解释上述问题。在这里插入图片描述

  • 7.4、真实样例【用词向量之间的平均距离算的】（虽然还是有瑕疵，但是肉眼看还是有些许正确的地方）在这里插入图片描述

Bessie_Lee_gogogo
关注
  • 2
    点赞
  • 踩
  • 3
    收藏
    觉得还不错? 一键收藏
  • 打赏
    打赏
  • 2
    评论
专栏目录
李沐论文精读：BERT 《BERT: Pre-training of Deep Bidirectional Transformers for Language Understanding》
iwill323的博客
12-19 1021
李沐论文精读：BERT BERT: Pre-training of Deep Bidirectional Transformers for Language Understanding
视频教程-大白话Bert-掌握最前沿Embedding结构-深度学习
weixin_34808849的博客
05-28 361
大白话Bert-掌握最前沿Embedding结构 李虎，联想集团PCSD业务...
论文解读：NSP-BERT： A Prompt-based Zero-Shot Learner Through an Original Pre-training Task——Next Sentence
夏栀的博客
12-31 2515
论文解读：NSP-BERT： A Prompt-based Zero-Shot Learner Through an Original Pre-training Task——Next Sentence Prediction   先前的一些基于Prompt的方法都是建立在Masked Language Modeling（MLM）任务上，即将下游任务转换为完形填空型任务。本文则换一种角度，将Prompt用在了被大多数语言模型摒弃掉的Next Sentence Prediction（NSP）上。 简要信息：
ELMO，BERT和GPT的原理和应用总结（李宏毅视频课整理和总结）_bert 视频课
2401_84139624的博客
05-15 291
Python崛起并且风靡，因为优点多、应用领域广、被大牛们认可。学习 Python 门槛很低，但它的晋级路线很多，通过它你能进入机器学习、数据挖掘、大数据，CS等更加高级的领域。Python可以做网络应用，可以做科学计算，数据分析，可以做网络爬虫，可以做机器学习、自然语言处理、可以写游戏、可以做桌面应用…Python可以做的很多，你需要学好基础，再选择明确的方向。这里给大家分享一份全套的 Python 学习资料，给那些想学习 Python 的小伙伴们一点帮助！
Pytorch——BERT 预训练模型及文本分类（情感分类）
ASS-ASH的博客
11-02 3万+
BERT 预训练模型及文本分类 介绍 如果你关注自然语言处理技术的发展，那你一定听说过 BERT，它的诞生对自然语言处理领域具有着里程碑式的意义。本次试验将介绍 BERT 的模型结构，以及将其应用于文本分类实践。 知识点 语言模型和词向量 BERT 结构详解 BERT 文本分类 BERT全称为 Bidirectional Encoder Representations from Transformer，是谷歌在 2018 年 10 月发布的语言表示模型。BERT 通过维基百科和书籍语料组成的庞.
深度学习：BERT模型
皮皮blog
12-18 4万+
BERT出自的全称是Bidirectional Encoder Representation from Transformers，即双向Transformer的Encoder。作为一个Word2Vec的替代者，其在NLP领域的11个方向大幅刷新了精度，可以说是近年来自残差网络最优突破性的一项技术了。模型的主要创新点都在pre-train方法上，即用了Masked LM和Next Sentence Prediction两种方法分别捕捉词语和句子级别的representation。
李宏毅老师深度学习PPT
11-18
深度学习是人工智能领域的一个核心部分，它通过模拟人脑神经网络的工作原理，让计算机能够从大量数据中自动学习特征并进行预测。...此外，PPT的形式通常简洁明了，便于理解和回顾，是学习深度学习的高效工具。
李宏毅老师2021深度学习课程笔记.pdf
10-08
2021春季李宏毅老师深度学习课程笔记（神经网络训练不起来处理方法+分类的数学原理）
台大李宏毅教授深度学习视频教程与PPT
03-13
深度学习视频教程，中文授课，带有PPT，是难得的中文授课的深度学习视频！！
李宏毅深度学习课件.rar
12-02
本压缩包“李宏毅深度学习课件.rar”包含了李宏毅老师深度学习课程的完整资料，旨在帮助学习者系统地理解和掌握深度学习的精髓。 首先，我们来了解一下深度学习的基础概念。深度学习是模仿人脑神经网络结构的一种...
李宏毅深度学习ppt
12-24
台湾大学李宏毅教授的深度学习方面的一些课堂ppt资料，希望可以帮到你们
李宏毅bert记录
qq_55736201的博客
12-06 867
在中，模型的输入为x，若期望输出是y，则以判断其误差——有输入和输出标签才能训练监督学习的模型。在中，。自监督学习是一种无监督学习的方法。
ELMO，BERT和GPT的原理和应用总结（李宏毅视频课整理和总结）_bert 视频课(1)
2401_84138835的博客
05-11 1023
一个字可以有多种意思，例如：“你好捞哦”和“我捞起鱼”。很明显两个“捞”表达的意思并不相同，但是如果使用word2vec做静态embedding，那么神经网络看到的“捞”是同样的语意。于是就延伸出参考上下文的embedding(Contextualized word embedding)。这种embeding可以保证同一个字在不同的语境下有不同的embeding。
推荐使用：Input Masking - 精准输入管理工具
最新发布
gitblog_00057的博客
05-21 267
推荐使用：Input Masking - 精准输入管理工具 项目地址:https://gitcode.com/estelle/input-masking 项目简介 Input Masking 是一个轻量级的JavaScript库，专为帮助用户在输入特定数据格式时提供便利。它允许您在任何需要格式化数据输入的文本框中添加一个掩码，使占位符保持可见，并指导用户应输入哪些字符。尤其适用于移动设备用户，无需...
BERT详解(3)---源码解读[预训练模型]
orangerfun的博客
03-02 6210
2. 预训练模型 bert模型的预训练过程包含两个任务: 下一句预测(Next Sentence Prediction) 遮蔽词预测 主程序在run_pretraining.py中, 进入run_pretraining.py主函数main(_)中，首先看model_fn_builder函数, 该函数中主要有以下几部分：构建BERT模型、构建遮蔽词预测的损失函数、构建Next Sentence ...
零基础入门NLP之新闻文本分类挑战赛——基于深度学习的文本分类3
melody
08-04 4551
此章，我们继续进一步学习基于深度学习的文本分类，了解Transformer的原理和基于Bert的词表示。 一、Transformer Google于2017年6月发布在arxiv上的一篇文章《Attention is all you need》，提出解决sequence to sequence问题的transformer模型，用全attention的结构代替了lstm，抛弃了之前传统的encoder-decoder模型必须结合cnn或者rnn的固有模式，只用attention，可谓大道至简。文章的主要目的是
bert下游_Bert解读
weixin_33509141的博客
01-09 381
序言：今天与朋友去ktv唱歌。回来的时候，顺手看篇bert论文。2019/10/27于复旦图书馆。1.introductionbert全称为：Bidirectional Encoder Representations from Transformers（双向transformer的encoder.）语言模型预训练能够有效提升许多自然语言处理任务。这些任务分为sentence-level和token...
深度学习基础 | NLP大魔王 · BERT
Kaiyuan_sjtu的博客
03-08 983
‍作者|Chilia整理|NewBeeNLP‍首先，请阅读先修知识：深度学习基础 | 从Language Model到RNN深度学习基础 | RNN家族全面解析深度学习基础...
BERT的理解
热门推荐
摆渡者
11-20 7万+
最近BERT大火，所以最近也开始研究这个模型，将自己的简单认识记录了下来 从模型的创新角度看一般，创新不大，但是实验的效果太好了，基本刷新了很多NLP的任务的最好性能，另外一点是BERT具备广泛的通用性，就是说绝大部分NLP任务都可以采用类似的两阶段模式直接去提升效果。 与最近的语言表征模型不同，BERT基于所有层中的左、右语境进行联合调整，来预训练深层双向表征。只需要增加一个输出层，就可以对...
评论 2
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包

打赏作者

Bessie_Lee_gogogo

你的鼓励是我最大的动力

¥1 ¥2 ¥4 ¥6 ¥10 ¥20
扫码支付：¥1
获取中
扫码支付

您的余额不足，请更换扫码支付或充值

打赏作者

实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值