李宏毅 bert 讲解

已于 2022-01-28 02:48:09 修改
阅读量1.3k 收藏
点赞数
文章标签： bert 自然语言处理 transformer
于 2022-01-28 02:45:17 首次发布
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/missgrass/article/details/122725807
版权

原始bert是干嘛的

bert就是transformer的encoder

输入seq，输出seq

先决定盖哪几个，再决定怎么盖
在这里插入图片描述

展示原始的bert

然后输出

输出的就是一个向量，里面就是词典所有的单词的概率（是吗）
在这里插入图片描述

里面的linear怎么做的（小参数）

然后跟我那个真实值，最小化，（就是一个分类问题），训练的时候，bert里面的参数和我们那个liner的参数一起训练。
在这里插入图片描述

工作2（好像没啥用）

除了上述的mask之外，还会预测下一个句子在这里插入图d片描述
这个输出的yes或者or，意思就是我这两个句子是不是相接的，后来说这个方法其实没有什么用。

然后就是bert其实它的作用就是填空，但是他却可以使用在其他的任务上，这些任务叫做下游任务（downstream tasks），

下游任务–微调

在这里插入图片描述
就是胚胎干细胞，给东西，可以做很多事情，他去做各式各样的任务，就是fine-tune，其实就是微调，

这些就是bert的实际测试的任务

在这里插入图片描述
表现都是上升的
在这里插入图片描述

在这里插入图片描述
这里面，liner的参数是随机初始化的，然后bert的参数是从学习了填空的预训练以后得到的。

至于为什么把会填空的bert拿过来，因为效果好，（就是好，但是不知道为啥）

下面是用不用训练好的bet模型的差距，前面是预训练的，后面的是随机初始化的，
在这里插入图片描述

下游是semi-supervised ： pre-training + fine-tune

案例二： 词性分析
在这里插入图片描述

案例三： 给定一个前提，给定一个结果，让你推断，前提能否得出结果
在这里插入图片描述
bert是怎么做的
在这里插入图片描述
不取cls取任何一个输出理论上都是可以的，bert里面结构都是self-attention，都是互相关联的

案例五：QA

在这里插入图片描述
在这里插入图片描述

bert计算的 苹果 和苹果手机，其实是考虑了上下文的

在这里插入图片描述
在这里插入图片描述
每个向量可以理解成，每一个词的意思

帅帅梁
关注
  • 0
    点赞
  • 踩
  • 0
    收藏
    觉得还不错? 一键收藏
  • 0
    评论
李宏毅《深度学习》 - BERT
0202zc 的博客
10-25 1039
在监督学习中，模型的输入为x，若期望输出是y，则在训练的时候需要给模型的期望输出y以判断其误差——有输入和输出标签才能训练监督学习的模型。自监督学习在没有标注的训练集中，把训练集分为两部分，一个作为输入，另一个作为模型的标签。自监督学习是一种无监督学习的方法。BERT 是 Transformer 的编码器（Encoder），一般用于NLP中（也可用于图像、语音处理中），它的输入是一排文字，输出是等长的一串向量。训练 BERT 一般是两个任务：从训练集中拿出两个句子 Sentence1 和 Sentence2
BERT详解——原理篇（组会PPT，其中大量参考李宏毅的bert课程视频）
SCU-JJkinging的博客
04-06 2373
ELMO，BERT和GPT的原理和应用总结（李宏毅视频课整理和总结）_bert 视频课
最新发布
2401_84139624的博客
05-15 285
Python崛起并且风靡，因为优点多、应用领域广、被大牛们认可。学习 Python 门槛很低，但它的晋级路线很多，通过它你能进入机器学习、数据挖掘、大数据，CS等更加高级的领域。Python可以做网络应用，可以做科学计算，数据分析，可以做网络爬虫，可以做机器学习、自然语言处理、可以写游戏、可以做桌面应用…Python可以做的很多，你需要学好基础，再选择明确的方向。这里给大家分享一份全套的 Python 学习资料，给那些想学习 Python 的小伙伴们一点帮助！
李宏毅自然语言处理——多语言BERT
日积月累，天道酬勤
08-15 3609
本文我们介绍多语言的BERT(Multilingual BERT)
李宏毅BERT部分学习
qq_44997147的博客
07-09 259
BERT BERT是Bidirectional Encoder Representation from Transformers的缩写，BERT是transformer的encoder。BERT里面只需要搜集一大堆的句子，不需要有annotation就可以把encoder给tran出来。总而言之，BERT的功能就是一个句子丢进去给BERT，然后每一个句子都会吐一个出来embedding出来就结束了。BERT的Network架构是跟transformer的encoder架构是一样的，transformer的e
李宏毅机器学习2021——Bert
weixin_45366750的博客
09-18 644
一、BERT介绍 学习类型：Bert属于self-surprised learning，或者semi-surprised learning。因为数据无标签，需要自己想办法打标签，然后做监督学习。也就是说，x既是输入，也用来打标签。 BERT内部，是transformer的encoder，也就是self- attention——norm——FC——norm的基础上➕residual➕muti-head，输入多长，输出也多长。 二、BERT可以解决的两类任务 （一）填空题 用mask或者random的方法
李宏毅 BERT PPT
01-05
**李宏毅 BERT PPT 知识点详解** BERT（Bidirectional Encoder Representations from Transformers）是由Google在2018年提出的预训练语言模型，它彻底改变了自然语言处理（NLP）领域的格局。BERT的核心理念是利用...
李宏毅老师知识问答作业（推荐）+现成的bert知识问答教程（不推荐）+知识问答初步思路
08-18
李宏毅老师知识问答作业（推荐）+现成的bert知识问答教程（不推荐）+知识问答初步思路
精品--国立台湾大学李宏毅老师讲解的深度强化学习学习笔记.zip
02-05
这份"精品--国立台湾大学李宏毅老师讲解的深度强化学习学习笔记"应该包含了李宏毅教授在课程中对这一主题的深入解析。 李宏毅教授是计算机科学领域的知名专家，他在机器学习和人工智能方面的教学深受学生喜爱。他的...
李宏毅老师深度学习PPT
11-18
李宏毅老师在深度学习领域的教学资源深受业界好评，他的课程覆盖了多种先进技术，包括元学习、终身学习和强化学习等。 元学习，也称为学习学习，是一种使机器学习模型能够快速适应新任务的方法。在元学习中，模型...
BERT使用详解(实战)
weixin_34032827的博客
02-20 3925
BERT模型，本质可以把其看做是新的word2Vec。对于现有的任务，只需把BERT的输出看做是word2vec，在其之上建立自己的模型即可了。 1，下载BERT BERT-Base, Uncased: 12-layer, 768-hidden, 12-heads, 110M parameters BERT-Large, Uncased: 24-layer, 1024-hidden, 16-he...
[机器学习入门] 经典台大李宏毅机器学习课程从这里开始
热门推荐
Holeung blog
08-21 8万+
TOPIC CONTENTS BLOG PDF VIDEO 【1】Learning Map（学习导图） blog pdf video 【2】Regression：Case Study ；回归：案例研究 blog pdf video 【3】Gradient Descent ；梯度下降 blog pdf video 【4
2020李宏毅机器学习笔记-ELMO, BERT, GPT
zn961018的博客
07-11 612
摘要 1. Background 机器是如何理解我们的文字的呢？最早的技术是1-of-N encoding，把每一个词汇表示成一个向量，每一个向量都只有一个地方为1，其他地方为0。但是这么做词汇之间的关联没有考虑，因为不同词之间的距离都是一样的。 所以，接下来有了word class的概念，举例说dog、cat和bird都是动物，它们应该是同类。但是动物之间也是有区别的，如dog和cat是哺乳类动物，和鸟类还是有些区别的。 后来有了更进阶的想法，称作word embedding，我们用一个向量来
李宏毅机器学习2021作业7-Bert (Question Answering)
god_father_o的博客
05-12 1531
内容为自己对助教给出代码的自我理解（甚至可以理解为部分翻译。。）外加一些函数的查找以及其功能，欢迎大家指出我的不足，帖子主要是作为自己的笔记记录一下，不喜勿喷。3q Task description - Chinese Extractive Question Answering - Input: Paragraph + Question - Output: Answer - Objective: Learn how to fine tune a pretrained model on do
李宏毅DLHLP.25.Audio BERT.1/2
老毛的博客
02-09 988
文章目录介绍CPC 介绍 本门课程是2020年李宏毅老师新课：Deep Learning for Human Language Processing（深度学习与人类语言处理） 课程网站 B站视频 公式输入请参考：在线Latex公式 这节课是助教Andy T. Liu讲解，题目是Audio BERT.但是PPT内容主要是语音的自监督学习。 总体分两大流派： CPC ...
ELMO、BERT、ERINE、GPT的李宏毅视频学习笔记
puredreammer的博客
08-05 1036
一、ELMO ELMO是通过基于RNN来预测词向量的，如下图所示，对于“潮水退了就知道谁没穿裤子”这句话里面的“潮水”这个词，通过正向RNN和逆向RNN都会产生一个词向量，然后把这两个词向量进行加权得到最后的词向量。其中加权的权重参数是从下游任务里面学习到的。 二、BERT BERT 的训练过程有两种方式，一种是MaskedLM，另外一种是预测下一句话的方法。 1. Maske...
BERT简介
与或
08-27 5738
BERT，是 Bidirectional Encoder Representations（双向编码器表示）的缩写，它从单词的两边（左边和右边）来考虑上下文。以前所有的努力方向，都是一次只考虑单词的一边，要么是左边，要么是右边。这种双向性有助于模型更好地理解使用单词的上下文。此外，BERT 的设计目标是能够进行多任务学习，也就是说，它可以同时执行不同的自然语言处理任务。 BERT这个model实际上是一个transformer 的 Encoder transformer BERT一般用在NLP上，它的输入
李宏毅机器学习--self-supervised：BERT、GPT、Auto-encoder
iwill323的博客
10-25 2056
李宏毅机器学习--self-supervised--BERT和GPT
方面级情感分析论文泛读10：Knowledge-enabled BERT for aspect-based sentiment analysis
可乐的博客
09-27 1334
提示1：原文链接 文章目录前言一、论文信息二、笔记要点2.1 目前存在的问题2.2 目前解决方法2.3 本文方法和创新点2.4 模型结构2.5 实验结果2.6 总结和展望总结 前言   本篇博客主要是对《Knowledge-enabled BERT for aspect-based sentiment analysis》进行了泛读，并对其进行了简单地记录，以帮助大家快速了解此篇论文的要点。 一、论文信息 论文名：《Knowledge-enabled BERT for aspect-based s
李宏毅gan网络作业代码讲解
07-17
### 回答1： 李宏毅是一位著名的机器学习专家，他在GAN（生成对抗网络）方面做出了重要贡献。GAN是一种包含两个神经网络的模型，一个称为生成器（Generator），另一个称为判别器（Discriminator）。GAN的目标是让生成器尽可能地生成与真实样本相似的数据。 在李宏毅的作业代码讲解中，他会介绍GAN的基本原理、算法和代码实现。首先，他会讲解生成器和判别器的结构和原理，包括生成器如何生成样本，以及判别器如何对生成的样本进行评价。 然后，李宏毅会详细解释GAN的损失函数和优化方法。他会讲解如何使用反向传播算法更新生成器和判别器的参数，以使它们在训练中达到更好的表现。此外，他还会解释GAN的训练过程中可能遇到的一些问题，并提供解决方法。 在代码方面，李宏毅会给出一个简单的实例，展示如何使用Python和深度学习框架（如TensorFlow或PyTorch）来实现一个基本的GAN模型。他会详细解释每个代码部分的功能和作用，并给出相应的代码注释，方便学习者理解。 总的来说，李宏毅的GAN网络作业代码讲解涵盖了GAN的基本原理、算法和实现细节。通过他的讲解，学习者可以更好地理解并应用GAN，从而在生成对抗网络领域取得更好的成果。 ### 回答2： 李宏毅是一位著名的机器学习和深度学习专家，他的GAN（生成对抗网络）网络作业代码讲解十分受欢迎。 GAN是一种由生成器和判别器组成的对抗性网络模型。生成器尝试生成与真实数据相似的新样本，而判别器则负责判断这些样本是真实的还是伪造的。GAN网络的训练过程是通过生成器和判别器之间的对抗来进行的。 在李宏毅的GAN网络作业代码讲解中，他通常会从基本概念开始讲解，介绍GAN网络的工作原理和训练过程。他会解释生成器和判别器的结构以及它们的作用，包括如何设计合适的神经网络模型来实现生成器和判别器。 接着，他会具体解释代码中各部分的功能和实现细节。他会展示如何使用Python和深度学习框架（如Tensorflow）来编写GAN网络的代码，并演示如何处理数据、构建网络结构、定义损失函数和优化器等。 此外，李宏毅还会给出一些GAN网络的应用案例，例如生成图像、语音合成等。他会详细说明如何调整和优化代码，以实现更好的生成效果。 总之，李宏毅的GAN网络作业代码讲解是非常有帮助和详细的，对于想要深入了解和学习GAN网络的人来说，这是一份宝贵的学习资料。通过他的讲解，我们可以更好地理解和应用GAN网络，为自己的深度学习项目增添新的工具和技术。

“相关推荐”对你有帮助么？

  • 非常没帮助
  • 没帮助
  • 一般
  • 有帮助
  • 非常有帮助
提交
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值