李宏毅 bert 讲解

已于 2022-01-28 02:48:09 修改
阅读量1.3k 收藏
点赞数
文章标签： bert 自然语言处理 transformer
于 2022-01-28 02:45:17 首次发布
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/missgrass/article/details/122725807
版权

原始bert是干嘛的

bert就是transformer的encoder

输入seq，输出seq

先决定盖哪几个，再决定怎么盖
在这里插入图片描述

展示原始的bert

然后输出

输出的就是一个向量，里面就是词典所有的单词的概率（是吗）
在这里插入图片描述

里面的linear怎么做的（小参数）

然后跟我那个真实值，最小化，（就是一个分类问题），训练的时候，bert里面的参数和我们那个liner的参数一起训练。
在这里插入图片描述

工作2（好像没啥用）

除了上述的mask之外，还会预测下一个句子在这里插入图d片描述
这个输出的yes或者or，意思就是我这两个句子是不是相接的，后来说这个方法其实没有什么用。

然后就是bert其实它的作用就是填空，但是他却可以使用在其他的任务上，这些任务叫做下游任务（downstream tasks），

下游任务–微调

在这里插入图片描述
就是胚胎干细胞，给东西，可以做很多事情，他去做各式各样的任务，就是fine-tune，其实就是微调，

这些就是bert的实际测试的任务

在这里插入图片描述
表现都是上升的
在这里插入图片描述

在这里插入图片描述
这里面，liner的参数是随机初始化的，然后bert的参数是从学习了填空的预训练以后得到的。

至于为什么把会填空的bert拿过来，因为效果好，（就是好，但是不知道为啥）

下面是用不用训练好的bet模型的差距，前面是预训练的，后面的是随机初始化的，
在这里插入图片描述

下游是semi-supervised ： pre-training + fine-tune

案例二： 词性分析
在这里插入图片描述

案例三： 给定一个前提，给定一个结果，让你推断，前提能否得出结果
在这里插入图片描述
bert是怎么做的
在这里插入图片描述
不取cls取任何一个输出理论上都是可以的，bert里面结构都是self-attention，都是互相关联的

案例五：QA

在这里插入图片描述
在这里插入图片描述

bert计算的 苹果 和苹果手机，其实是考虑了上下文的

在这里插入图片描述
在这里插入图片描述
每个向量可以理解成，每一个词的意思

帅帅梁
关注
  • 0
    点赞
  • 踩
  • 0
    收藏
    觉得还不错? 一键收藏
  • 0
    评论
李宏毅《深度学习》 - BERT
0202zc 的博客
10-25 1050
在监督学习中，模型的输入为x，若期望输出是y，则在训练的时候需要给模型的期望输出y以判断其误差——有输入和输出标签才能训练监督学习的模型。自监督学习在没有标注的训练集中，把训练集分为两部分，一个作为输入，另一个作为模型的标签。自监督学习是一种无监督学习的方法。BERT 是 Transformer 的编码器（Encoder），一般用于NLP中（也可用于图像、语音处理中），它的输入是一排文字，输出是等长的一串向量。训练 BERT 一般是两个任务：从训练集中拿出两个句子 Sentence1 和 Sentence2
李宏毅自然语言处理——ELMO/BERT/GPT简介
日积月累，天道酬勤
08-14 2641
本文介绍如何让机器理解人类语言，主要是介绍了ELMO、BERT和GPT。
ELMO，BERT和GPT的原理和应用总结（李宏毅视频课整理和总结）_bert 视频课
最新发布
2401_84139624的博客
05-15 289
Python崛起并且风靡，因为优点多、应用领域广、被大牛们认可。学习 Python 门槛很低，但它的晋级路线很多，通过它你能进入机器学习、数据挖掘、大数据，CS等更加高级的领域。Python可以做网络应用，可以做科学计算，数据分析，可以做网络爬虫，可以做机器学习、自然语言处理、可以写游戏、可以做桌面应用…Python可以做的很多，你需要学好基础，再选择明确的方向。这里给大家分享一份全套的 Python 学习资料，给那些想学习 Python 的小伙伴们一点帮助！
台大李宏毅机器学习课程之BERT记录
溯源的专栏
04-01 223
1）BERT是自监督的学习，不需要人工标注的标签，所以其实也是无监督学习的一种方式2）BERT的主干网络就是tranformer的encoder部分，所以BERT使用了self-attention的机制3）BERT主要采用完形填空的方式。就是输入一句话，随机遮住某个词，然后预测遮住的词。这种方式其实很好的考虑了上下文，或者说就是基于上下文的语境来表示词的意思。实验证明这种方式得到了一种很好的embedding的方式4）BERT可以很好的用于下游任务。
BERT详解——原理篇（组会PPT，其中大量参考李宏毅的bert课程视频）
SCU-JJkinging的博客
04-06 2387
李宏毅自然语言处理——多语言BERT
日积月累，天道酬勤
08-15 3640
本文我们介绍多语言的BERT(Multilingual BERT)
李宏毅 BERT PPT
01-05
**李宏毅 BERT PPT 知识点详解** BERT（Bidirectional Encoder Representations from Transformers）是由Google在2018年提出的预训练语言模型，它彻底改变了自然语言处理（NLP）领域的格局。BERT的核心理念是利用...
李宏毅老师知识问答作业（推荐）+现成的bert知识问答教程（不推荐）+知识问答初步思路
08-18
李宏毅老师知识问答作业（推荐）+现成的bert知识问答教程（不推荐）+知识问答初步思路
精品--国立台湾大学李宏毅老师讲解的深度强化学习学习笔记.zip
02-05
这份"精品--国立台湾大学李宏毅老师讲解的深度强化学习学习笔记"应该包含了李宏毅教授在课程中对这一主题的深入解析。 李宏毅教授是计算机科学领域的知名专家，他在机器学习和人工智能方面的教学深受学生喜爱。他的...
李宏毅老师深度学习PPT
11-18
李宏毅老师在深度学习领域的教学资源深受业界好评，他的课程覆盖了多种先进技术，包括元学习、终身学习和强化学习等。 元学习，也称为学习学习，是一种使机器学习模型能够快速适应新任务的方法。在元学习中，模型...
《深度学习》学习笔记（六）
白炎灵的博客
04-20 720
本篇博客主要是讲自监督学习的（Self-Supervised Learning）
李宏毅BERT部分学习
qq_44997147的博客
07-09 263
BERT BERT是Bidirectional Encoder Representation from Transformers的缩写，BERT是transformer的encoder。BERT里面只需要搜集一大堆的句子，不需要有annotation就可以把encoder给tran出来。总而言之，BERT的功能就是一个句子丢进去给BERT，然后每一个句子都会吐一个出来embedding出来就结束了。BERT的Network架构是跟transformer的encoder架构是一样的，transformer的e
李宏毅机器学习2021——Bert
weixin_45366750的博客
09-18 645
一、BERT介绍 学习类型：Bert属于self-surprised learning，或者semi-surprised learning。因为数据无标签，需要自己想办法打标签，然后做监督学习。也就是说，x既是输入，也用来打标签。 BERT内部，是transformer的encoder，也就是self- attention——norm——FC——norm的基础上➕residual➕muti-head，输入多长，输出也多长。 二、BERT可以解决的两类任务 （一）填空题 用mask或者random的方法
BERT使用详解(实战)
weixin_34032827的博客
02-20 3925
BERT模型，本质可以把其看做是新的word2Vec。对于现有的任务，只需把BERT的输出看做是word2vec，在其之上建立自己的模型即可了。 1，下载BERT BERT-Base, Uncased: 12-layer, 768-hidden, 12-heads, 110M parameters BERT-Large, Uncased: 24-layer, 1024-hidden, 16-he...
ELMO，BERT和GPT的原理和应用总结（李宏毅视频课整理和总结）
双鸭山•克里菲斯•北方孤星之堕
08-27 2460
介绍几种主流的NLP模型，ELMO，BERT，GPT 然而这不符合语言学的特点，例如：“太阳就是日”和“我日你大爷”。很明显两个“日”表达的意思并不相同，但是如果使用word2vec做静态embedding，那么神经网络看到的“日”是同样的语意。于是就延伸出带有上下文的embedding(Contextualized word embedding)。这种embeding可以保证同一个字在不同的语境下有不同的embeding。而本文介绍的三个网络都是Contextualized word embedding
李宏毅 BERT 学习笔记
herosunly的博客
07-05 6366
语言模型：https://lilianweng.github.io/lil-log/2019/01/31/generalized-language-models.html Contextual Word Representations: Putting Words into Computers： https://arxiv.org/abs/1902.06006 BERT分析：https://zh...
李宏毅-ELMO、BERT、GPT视频笔记
小小挖掘机
08-03 1008
本文根据李宏毅老师2019最新的机器学习视频整理。视频地址：https://www.bilibili.com/video/av46561029/?p=61ppt下载地址：...
[机器学习入门] 经典台大李宏毅机器学习课程从这里开始
热门推荐
Holeung blog
08-21 8万+
TOPIC CONTENTS BLOG PDF VIDEO 【1】Learning Map（学习导图） blog pdf video 【2】Regression：Case Study ；回归：案例研究 blog pdf video 【3】Gradient Descent ；梯度下降 blog pdf video 【4
李宏毅-ELMO, BERT, GPT
布纸所云
02-29 795
李宏毅-ELMO, BERT, GPT 参考资料 笔记 教学视频 课件 引言 One-of-Hot: 词汇鸿沟 Word-embedding: 语义相近的词在向量空间上也比较近 同一个词汇也会有不同的意思： Have you paid that money to the bank yet ? It is safest to deposit your money in the bank. The ...
李宏毅gan网络作业代码讲解
07-17
### 回答1： 李宏毅是一位著名的机器学习专家，他在GAN（生成对抗网络）方面做出了重要贡献。GAN是一种包含两个神经网络的模型，一个称为生成器（Generator），另一个称为判别器（Discriminator）。GAN的目标是让生成器尽可能地生成与真实样本相似的数据。 在李宏毅的作业代码讲解中，他会介绍GAN的基本原理、算法和代码实现。首先，他会讲解生成器和判别器的结构和原理，包括生成器如何生成样本，以及判别器如何对生成的样本进行评价。 然后，李宏毅会详细解释GAN的损失函数和优化方法。他会讲解如何使用反向传播算法更新生成器和判别器的参数，以使它们在训练中达到更好的表现。此外，他还会解释GAN的训练过程中可能遇到的一些问题，并提供解决方法。 在代码方面，李宏毅会给出一个简单的实例，展示如何使用Python和深度学习框架（如TensorFlow或PyTorch）来实现一个基本的GAN模型。他会详细解释每个代码部分的功能和作用，并给出相应的代码注释，方便学习者理解。 总的来说，李宏毅的GAN网络作业代码讲解涵盖了GAN的基本原理、算法和实现细节。通过他的讲解，学习者可以更好地理解并应用GAN，从而在生成对抗网络领域取得更好的成果。 ### 回答2： 李宏毅是一位著名的机器学习和深度学习专家，他的GAN（生成对抗网络）网络作业代码讲解十分受欢迎。 GAN是一种由生成器和判别器组成的对抗性网络模型。生成器尝试生成与真实数据相似的新样本，而判别器则负责判断这些样本是真实的还是伪造的。GAN网络的训练过程是通过生成器和判别器之间的对抗来进行的。 在李宏毅的GAN网络作业代码讲解中，他通常会从基本概念开始讲解，介绍GAN网络的工作原理和训练过程。他会解释生成器和判别器的结构以及它们的作用，包括如何设计合适的神经网络模型来实现生成器和判别器。 接着，他会具体解释代码中各部分的功能和实现细节。他会展示如何使用Python和深度学习框架（如Tensorflow）来编写GAN网络的代码，并演示如何处理数据、构建网络结构、定义损失函数和优化器等。 此外，李宏毅还会给出一些GAN网络的应用案例，例如生成图像、语音合成等。他会详细说明如何调整和优化代码，以实现更好的生成效果。 总之，李宏毅的GAN网络作业代码讲解是非常有帮助和详细的，对于想要深入了解和学习GAN网络的人来说，这是一份宝贵的学习资料。通过他的讲解，我们可以更好地理解和应用GAN网络，为自己的深度学习项目增添新的工具和技术。

“相关推荐”对你有帮助么？

  • 非常没帮助
  • 没帮助
  • 一般
  • 有帮助
  • 非常有帮助
提交
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值