李宏毅《Deep Learning》学习笔记 - BERT and GPT

最新推荐文章于 2024-04-05 19:52:27 发布
最新推荐文章于 2024-04-05 19:52:27 发布
阅读量365 收藏
点赞数
分类专栏： 深度学习笔记
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/dupei/article/details/106696869
版权
这篇博客主要介绍了深度学习在自然语言处理中的应用，重点讲解了BERT和GPT模型。BERT通过Masked LM和Next Sentence Prediction进行训练，能够理解和处理上下文语境。而GPT则是另一种序列生成模型，原理和应用也进行了简要说明。
摘要由CSDN通过智能技术生成

学习资料：video, PPT

1. 背景

BERT的本质就是transformer encoder

为什么会出现BERT呢？这就需要从NLP最初的问题说起，我们需要对语句中的word做编码。最初的编码方式是1-of-N encoding（one-hot），但是，这样的编码方式有两个严重的问题：（1）编码过于稀疏；（2）无法区分类别。为了解决类别区分的问题，所以，需要对word做分类，名词、动词、动物、植物等等。再后来，就有了经典的word embedding。
在这里插入图片描述
然而，word embedding也有其局限性。不同语境下，相同的词，表达的意思会有差异。如下面两个例子。
在这里插入图片描述

最低0.47元/天 解锁文章
dupei
关注
  • 0
    点赞
  • 踩
  • 0
    收藏
    觉得还不错? 一键收藏
  • 0
    评论
专栏目录
李宏毅《Deep Learning》学习笔记 - GNN
好记性不如烂笔头
11-13 399
Graph Neural Network 学习资料：video1, video2, PPT 1. Roadmap 2. Spatial-based 在GNN中常用的术语，aggregate类似于CNN中的convolution，就是用周边节点的feature更新下一层的hidden feature。readout是把所有nodes的feature集合起来代表整个graph的feature。 2.1 NN4G 隐藏层feature的更新方法：（以v3v_3v3​后续的隐藏节点为例） 第0层的feature
李宏毅《深度学习》 - BERT
0202zc 的博客
10-25 1118
在监督学习中，模型的输入为x，若期望输出是y，则在训练的时候需要给模型的期望输出y以判断其误差——有输入和输出标签才能训练监督学习的模型。自监督学习在没有标注的训练集中，把训练集分为两部分，一个作为输入，另一个作为模型的标签。自监督学习是一种无监督学习的方法。BERT 是 Transformer 的编码器（Encoder），一般用于NLP中（也可用于图像、语音处理中），它的输入是一排文字，输出是等长的一串向量。训练 BERT 一般是两个任务：从训练集中拿出两个句子 Sentence1 和 Sentence2
李宏毅 BERT 学习笔记
herosunly的博客
07-05 6375
语言模型：https://lilianweng.github.io/lil-log/2019/01/31/generalized-language-models.html Contextual Word Representations: Putting Words into Computers： https://arxiv.org/abs/1902.06006 BERT分析：https://zh...
李宏毅深度学习笔记（一）——Deep Learning概要
qq_51026159的博客
07-24 546
在机器学习中，执行一个算法通常要经过遵循以下三个步骤：（1）定义一个函数集；（2）定义函数的好坏；（3）训练参数，得到不同的函数，并选择最好的函数 DeepLearning同样遵循这三个步骤。具体来说，在第一步中，定义的函数集为一个神经网络（neuronnetwork） 。 1.什么是神经网络 如图所示展示了一个神经网络，它是由许多神经元（neuron）组成的一个系统。其中的每个神经元执行这样的操作：将每个输入乘以一个权重后求和，将得到的值加上一个常数作为某个函数的输入，输出得到...
ELMO、BERT、ERINE、GPT的李宏毅视频学习笔记
puredreammer的博客
08-05 1068
一、ELMO ELMO是通过基于RNN来预测词向量的，如下图所示，对于“潮水退了就知道谁没穿裤子”这句话里面的“潮水”这个词，通过正向RNN和逆向RNN都会产生一个词向量，然后把这两个词向量进行加权得到最后的词向量。其中加权的权重参数是从下游任务里面学习到的。 二、BERT BERT 的训练过程有两种方式，一种是MaskedLM，另外一种是预测下一句话的方法。 1. Maske...
李宏毅-Deep Learning Tutorial-300页的PPT
09-26
注意：此为PPT，不是PDF格式。李宏毅-Deep Learning Tutorial-300页的PPT，这个PPT介绍了一些关于深度学习的知识，适合深度学习入门级阅读。
台大李宏毅-深度学习2017-ppt.zip
03-06
深度学习ppt
Deep Learning Tutorial by 李宏毅 (Hung-yi Lee)
03-13
《李宏毅深度学习教程》是由台湾大学的著名教授李宏毅（Hung-yi Lee）提供的深度学习资源，因其深入浅出的讲解而备受推崇。这份教程覆盖了深度学习的基础到高级概念，对于想要理解并掌握这一领域的学习者来说，无疑...
Deep Learning Tutorial-李宏毅
03-31
Lecture I: Introduction of Deep Learning Lecture II: Tips for Training DNN Lecture III: Variants of Neural Networks Lecture IV: Next Wave
李宏毅深度学习教程LeeDL-Tutorial-v.1.0.5
01-10
《李宏毅深度学习教程LeeDL-Tutorial-v.1.0.5》是台湾大学《深度学习》课程的配套教学资料，由李宏毅老师及其团队编著。这份教程不仅包含理论知识，还注重实践方法，旨在帮助学习者掌握深度学习的基础与应用。教程在...
李宏毅-ELMO、BERT、GPT视频笔记
小小挖掘机
08-03 1018
本文根据李宏毅老师2019最新的机器学习视频整理。视频地址：https://www.bilibili.com/video/av46561029/?p=61ppt下载地址：...
【深度学习】李宏毅2021/2022春深度学习课程笔记 - Self-supervised Learning（自监督式学习）
热门推荐
知不足而奋进，望远山而前行
01-06 2万+
在训练的时候，BERT的输入是Mask的，如下图所示，输入“台湾大学”中的“湾”字被Mask了，通常Mask有两种方式，一种是替换为特殊的Mask符，还有一种是随机替换为另一个中文字符。Predict Next Token 是生成式的，它可以根据输入的Token预测下一个Token，然后再用预测的Token作为输入继续往下预测Token，直到预测出现终止符停止。有很多方法，如下图所示，实验表明，把这些扰动的方法都用上效果是比较好的。如下图所示，线性层的参数是随机初始化的，而BERT的参数是预训练后得到的。
李宏毅-ELMO, BERT, GPT讲解笔记
solejay
05-25 664
背景知识 NLP 中词的表示 one-hot embedding(1-of-N Encoding) 缺点：词汇之间的关联没有考虑，因为不同词之间的距离都是一样的 word class word embedding(word2vec) 缺点：一词多义的问题无法解决 Have you paid that money to the bank yet? They stood on the river bank to fish. 上面两句话中的 bank 显然不是同一意思，因此用同一个 embedding
机器学习和深度学习 -- 李宏毅（笔记与个人理解1-6）
weixin_65403042的博客
04-05 1680
课程内容。
李宏毅《机器学习》Bert笔记
m0_46381421的博客
02-24 503
Bert学习笔记和工作原理解释
李宏毅机器学习笔记：第二章Deep learning
cynyjy的博客
08-17 188
课程链接 2021年春季ML课程 第二章 Deep Learning 模型训练general guidence ML framework General guide 具体来说，当在训练集上的loss 大的时候，有两种可能，一种是model bias, 一种是optimization的问题。 针对model bias， 一般是模型比较简单，想要找的function不咋模型包含的范围内。解决方法就是让模型变的更加复杂，例如增加feature 数量，或者使用更加复杂的网络。 优化问题一般是优化方法没法找到或
李宏毅nlp学习笔记05：BERT
weixin_42721412的博客
11-09 651
1.Context Vector（考虑上下文关系的向量）： 2.self-supervised learning（自监督学习）： 3.预测下一个token： 需要注意的是，输入w1来预测出w2的时候，是不能同时把w2输入的，很显然的。否则模型直接训练为与下一个输入相同即可。 通过h1来得出输出为w1的方法，上图中的右侧为一种方法。 最早的使用的model 是一个LSTM： 现在一般使用的是self-attention： 具体是使用了with constraint（限制注意力矩阵中的那些位置可以运算）
李宏毅bert记录
qq_55736201的博客
12-06 872
在中，模型的输入为x，若期望输出是y，则以判断其误差——有输入和输出标签才能训练监督学习的模型。在中，。自监督学习是一种无监督学习的方法。
鉴于gpt 3的引入，让我们重温了深度学习的基础知识
weixin_26704853的博客
09-06 537
Let’s start off by demonstrating how an application of Deep Learning catches the eye: 让我们从演示深度学习应用如何吸引眼球开始： Given the left image as a reference, an application of Deep Learning, GAN (Generative Adver...
李宏毅机器学习HW5-Transformer数据
最新发布
08-11
李宏毅的机器学习课程中提到的HW5（作业5），可能涉及到Transformer模型在自然语言处理任务中的应用。Transformer是一种基于自注意力机制的深度学习模型，最初由Google在2017年提出的BERT（Bidirectional Encoder ...
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值