bert笔记

最新推荐文章于 2021-06-24 17:01:53 发布
最新推荐文章于 2021-06-24 17:01:53 发布
阅读量191 收藏
点赞数
分类专栏： machine-learning 文章标签： 深度学习
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/u014297722/article/details/104761341
版权
本文介绍了李宏毅老师的BERT课程，包括ELMO、BERT、ERNIE和GPT的基础知识和训练方法。BERT通过双向Transformer进行预训练，使用Masked LM和Next Sentence Prediction任务。ERNIE在BERT的基础上结合知识进行增强，而GPT是生成式预训练模型，用于自然语言理解和生成。
摘要由CSDN通过智能技术生成

来自于李宏毅老师的bert课程，http://speech.ee.ntu.edu.tw/~tlkagk/courses_ML19.html

0. 前置基础

word can have multiple sense.
e.g. bank is word type, can be multiple word tokens
contextalized embedding: 同一个word type，在不同的上下文中，有不同的word embedding

1. ELMO

embedding from Language Model 语言模型
RNN-based language models(trained from lots of sentences)
e.g.对于某个句子，如何计算某个token的embedding？
A:将bi-RNN的某个token的前后两个hidden states,拼接起来作为当前token的embedding
[外链图片转存失败,源站可能有防盗链机制,建议将图片保存下来直接上传(img-N5lOkV8M-1583759173930)(./DL_picture/bert1.png)]

2. BERT

bi-directional encoder representation for transformer
bert = encoder of transformer
备注:训练bert是不需要label的;半监督的==其实还是有label的; learned from a large amount of text without annotaion
[外链图片转存失败,源站可能有防盗链机制,建议将图片保存下来直接上传(img-Q1GsRRD2-1583759173938)(./DL_picture/bert2.png)]<

最低0.47元/天 解锁文章
cuixuange
关注
  • 0
    点赞
  • 踩
  • 0
    收藏
    觉得还不错? 一键收藏
  • 0
    评论
专栏目录
print ("BERT 论文笔记")
01-18
### BERT论文笔记 #### 前言 BERT（Bidirectional Encoder Representations from Transformers）是一项开创性的自然语言处理（NLP）技术，它基于Transformer架构实现了深度双向表征的预训练，极大地推动了NLP领域...
搜出来的文本：基于BERT的文本采样
Paper weekly
03-06 583
©PaperWeekly 原创 ·作者｜苏剑林单位｜追一科技研究方向｜NLP、神经网络从这一篇开始，我们就将前面所介绍的采样算法应用到具体的文本生成例子中。而作为第一个例子，我们将介绍如...
BERT模型的详细介绍
热门推荐
IT之一小佬的博客
04-01 11万+
BERT模型的详细介绍 1.BERT 的基本原理是什么？ BERT 来自 Google 的论文Pre-training of Deep Bidirectional Transformers for Language Understanding，BERT 是“Bidirectional Encoder Representations from Transformers”的首字母缩写，整体是一个自编码语言模型（Autoencoder LM），并且其设计了两个任务来预训练该模型。 第一个任务是采用 Ma
关于bert的那些面试问题
TYUTyansheng的博客
09-04 2823
关于bert的那些面试问题BERT 的基本原理是什么？BERT 是怎么用 Transformer 的？BERT 的训练过程是怎么样的？为什么 BERT 比 ELMo 效果好？ELMo 和 BERT 的区别是什么？BERT 有什么局限性？BERT 的输入和输出分别是什么？针对句子语义相似度/多标签分类/机器翻译翻译/文本生成的任务，利用 BERT 结构怎么做 fine-tuning？BERT 应用于有空格丢失或者单词拼写错误等数据是否还是有效？有什么改进的方法？BERT 的 embedding 向量如何得来的
自然语言处理(NLP)精选13道面试题
niuyunpang的博客
06-24 1638
文末彩蛋：七月在线干货组最新升级的《名企AI面试100题》免费送！ 1、为什么BERT在第一句前会加一个[CLS]标志? BERT在第一句前会加一个[CLS]标志，最后一层该位对应向量可以作为整句话的语义表示，从而用于下游的分类任务等。 为什么选它呢，因为与文本中已有的其它词相比，这个无明显语义信息的符号会更“公平”地融合文本中各个词的语义信息，从而更好的表示整句话的语义。 具体来说，self-attention 是用文本中的其它词来增强目标词的语义表示，但是目标词本身的语义还是会占主要部分的，因此，经过
DataGear 制作省/市二级联动下拉框看板表单
datagear的博客
10-18 817
通过DataGear的自定义图表功能，可以很方便地制作省/市二级联动下拉框看板表单。 首先，新建两个下拉框所需的数据集： 第一个是省级下拉框所需数据集，以如下的CSV数据集为例： name, value 北京, bj 河北, hb 山东, sd 江苏, js 第二个是市级下拉框所需数据集，以如下SQL数据集为例： SELECT NAME, VALUE FROM T_CITY WHERE PARENT = '${province}' 这是一个参数化SQL数据集，参数为： 名称 类型
BERT学习笔记一：运行BERT模型代码前-附件资源
03-02
BERT学习笔记一：运行BERT模型代码前-附件资源
NER笔记摘抄（包括Transfromer、BERT、NER）
05-11
随着深度学习的发展，尤其是Transformer和BERT等模型的出现，NER技术取得了显著的进步。 Transformer模型由Vaswani等人在2017年提出，彻底改变了序列建模的方式。传统的RNN（循环神经网络）和LSTM（长短时记忆网络...
ganbert_notebook_collection:将Gan-Bert作为笔记本电脑运行
04-04
笔记 每个笔记本均包含有关如何使用它们的说明 Gan_Bert_Colab_Clean.ipynb-尝试使用原始Gan-bert存储库中提供的QC数据在笔记本上运行Gan-bert Gan_Bert_3_level_Sentiment_DataFrame_Colab.ipynb-不同的数据集用于...
BERT模型的若干问题整理记录 & 思考
多反思，多回顾，要坚持。
03-31 5157
1.BERT的基本原理是什么？ BERT来自Google的论文Pre-training of Deep Bidirectional Transformers for Language Understanding，BERT是”Bidirectional Encoder Representations from Transformers”的首字母缩写，整体是一个自编码语言模型（Autoencoder ...
感知器算法
cuixuange的博客
10-18 4753
**感知器算法: 线性判别函数 或者说广义的线性判别曲面 进行二分类或者多分类的代码实现 以及使用iris_data 的感知机测试代码 不断地迭代赏罚 为后面的梯度下降方式做铺垫** -github：https://github.com/cuixuage/Machine_Learning 参考资料 https://ljalphabeta.gitbooks.io/python-/conte
DQN若干种变型及实现
cuixuange的博客
10-05 4461
测试环境 gym cartPole-vo 代码实现 https://github.com/cuixuage/Reinforcement_Learning/tree/master/Pytorch_basic 1.Nature DQN 延迟target NetWork更新 相当于用前期一定步数的reward来计算当前真实值 2.Double DQN 为什么我测试效果不如DQN好? https://bl...
RLAI-第三章-gridWorld实践
cuixuange的博客
09-04 2262
第三讲 方格世界 DP 初始情况 1.只有移动到指定位置,Reward=1.否则Reward=-1 2.States-space(4*4 终止的方格+非终止) 3.Action-space(n,e,s,w) 4.转移概率(1/4 感觉这就是相当于指定Action的策略) 5. 折扣因子γ=1 目的 给定某一策略(比如转移概率)，计算每一个方格最终的状态价值 公式 ...
kaggle kernel 学习笔记
cuixuange的博客
05-12 1628
学习链接 https://www.kaggle.com/learn/intermediate-machine-learning 3.Missing Values 1.drop columns # Get names of columns with missing values cols_with_missing = [col for col in X_train.columns if X_trai...
量化投资的线性回归
cuixuange的博客
11-20 1236
多元线性回归 预测平安银行的股价利润欢迎访问: https://github.com/cuixuage/Machine_Learning#coding=utf-8 import numpy as ny import pandas as pd import matplotlib as mp import scipy as sp import sklearn as sl# 本金10万元 初始股票价
Django 垃圾短信分类
cuixuange的博客
12-16 888
背景: 给出任意一条短信，判断其是否为垃圾短信 https://github.com/cuixuage/Machine_Learning 模型源码 Django交互源码 对于垃圾短信分类问题做一个demo展示 1.前端ajax+后端Django 2.训练的数据模型的存放在static中；单例模式保证了训练模型只会加载一次 3.缺点: 第一次打开页面花费时间较长，需要等待server加
DQN paper 总结
cuixuange的博客
10-02 653
已读paper Playing Atari with Deep Reinforcement Learning Human-level control through deep reinforcement learning deep-Q-NetWork 思考 1.value-function是如何使用的 2.算法伪代码 3.异策略 行动策略(产生新样本数据的策略,例如e-greedy) 和 评估策略...
机器学习技法-林轩田-课程总结
cuixuange的博客
01-18 554
https://github.com/cuixuage/Machine_Learning Lecture Directory How can machines learn by Embedding numerous features 1.线性SVM,推导非条件目标,QP求解 2.对偶SVM,非线性问题消除Z域d+1依赖 3.kernel trick仅在X域计算 4.soft-margin,ξn ...
transformer-paper reading
cuixuange的博客
05-02 487
论文原文: https://arxiv.org/abs/1706.03762 代码实现:https://github.com/Kyubyong/transformer 按照原文结构记录总结 #1.Model Architecture 1.1.Encoder&Decoder stacks stacks = 6 transformer sublayers = multi-head attent...
李宏毅 bert笔记
最新发布
08-23
关于BERT笔记，通常会包括以下几个部分： 1. **基础知识**：介绍BERT的基本原理、模型架构以及预训练和微调的过程。 2. **技术细节**：可能会探讨自注意力机制、嵌入层、掩码预测任务等核心组件。 3. **实践应用**：...
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值