BERT基础知识

最新推荐文章于 2024-04-24 09:22:23 发布
最新推荐文章于 2024-04-24 09:22:23 发布
阅读量508 收藏
点赞数
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/Xiao_CangTian/article/details/108178859
版权
本文介绍了预训练模型的基础，包括ELMO、BERT、ERNIE和GPT。BERT使用Transformer的Encoder，处理中文时以字为单位。重点讨论了BERT的预测Masked word、[SEP]和[CLS]的作用，以及BERT在情感分类、单词分类、问答等任务的应用。
摘要由CSDN通过智能技术生成

1. ELMO

2. BERT

  • 就是Transformer的Encoder部分：输入input，输出embedding

  • 如果处理中文，用 字 作为单位 （潮水--词，潮--字）

2.1 预测Masked word

2.2 [SEP] 和 [CLS]

  • [SEP]：两个句子的 边界

  • [CLS]：输出 分类结果 的 位置，输出：[SEP]左右两个句子是否应该接在一起

2.3 如何使用BERT

  • Case 1：句子的情感分类

情感分析
中文情感分析

  • Case 2：句子的单词分类

  • Case 3：由前提推测假设对/错

  • Case 4：Extrac tion-based Question(输入文章，回答问题）

（答案从 \(d_s\) 个位置到 \(d_e\) 个位置的token）

3. ERNIE

4. GPT

在完全没有资料的情况下，做到下列：

  • Reading Comprehension

  • Summarization

  • Translation

Douzi1024
关注
BERT 基础
aliceyangxi1987的博客
09-22 429
BERT，Bidirectional Encoder Representations from Transformers，来自 Google AI Language 的论文： [BERT: Pre-training of Deep Bidirectional Transformers for Language Understanding](https://arxiv.org/pdf/ 181...
Bert基础(十三)--Bert变体之知识蒸馏训练
Andy_shenzl的博客
04-19 768
请注意，我们是将特定任务的知识从教师迁移给学生，因此，要先针对特定任务微调预训练的BERT-large模型，然后将其作为教师。因此，在进行蒸馏时，也就是在将知识从教师（BERT-base模型）迁移到学生（TinyBERT模型）时，我们使用相同的数据集。这里，我们使用大型的预训练BERT模型（BERT-base模型）作为教师，并通过蒸馏将知识迁移到小型的学生BERT模型（TinyBERT模型）。我们将特定任务的知识从教师迁移给学生，因此，如前所述，将采用为特定任务微调后的预训练的BERT模型作为教师。
bert入门资料
weixin_30426065的博客
09-14 316
transformer: Attention Is All You Need讲解 参考ppt:http://www.isclab.org.cn/wp-content/uploads/2018/12/Transformer%E4%B8%AD%E7%9A%84Multi-Head-Attention-%E7%8E%8B%E7%9D%BF%E6%80%A1-2018.12.9-19_00_...
BERT八个基本知识
SZU_Hadooper的博客
05-28 1157
转载一片朋友对bert的总结： （1）BERT 的MASK方式的优缺点？ 答：BERT的mask方式：在选择mask的15%的词当中，80%情况下使用mask掉这个词，10%情况下采用一个任意词替换，剩余10%情况下保持原词汇不变。 优点：1）被随机选择15%的词当中以10%的概率用任意词替换去预测正确的词，相当于文本纠错任务，为BERT模型赋予了一定的文本纠错能力；2）被随机选择15%的词当中以10%的概率保持不变，缓解了finetune时候与预训练时候输入不匹配的问题（预训练时候输入句子当中有mask，
bert简介_Bert基础介绍
weixin_33172728的博客
01-17 891
BERT理解1、预训练模型BERT是一个预训练的模型，那么什么是预训练呢？假设已有A训练集，先用A对网络进行预训练，在A任务上学会网络参数，然后保存以备后用。(预训练过程)当来一个新的任务B，采取相同的网络结构，网络参数初始化的时候可以加载A训练集学习好的参数，其他的高层参数随机初始化，之后用B任务的训练数据来训练网络，当加载的参数保持不变时，称为"frozen"，当加载的参数随着B任务的训练进行...
Bert基础(十二)--Bert变体之知识蒸馏原理解读
Andy_shenzl的博客
04-03 806
知识蒸馏(knowledge distillation)是一种模型压缩技术，它是指训练一个小模型来重现大型预训练模型的行为。知识蒸馏也被称为师生学习，其中大型预训练模型是教师，小模型是学生。让我们通过一个例子来了解知识蒸馏是如何实现的。假设预先训练了一个大模型来预测句子中的下一个单词。我们将大型预训练模型称为教师网络。我们输入一个句子，让网络预测句子中的下一个单词。它将返回词表中所有单词是下一个单词的概率分布，如图所示。为了更好地理解，我们假设词表中只有5个单词。
Bert基础(七)--Bert实战之理解Bert模型结构
Andy_shenzl的博客
03-26 1305
在篇我们将详细学习如何使用预训练的BERT模型。首先，我们将了解谷歌对外公开的预训练的BERT模型的不同配置。然后，我们将学习如何使用预训练的BERT模型作为特征提取器。此外，我们还将探究Hugging Face的Transformers库，学习如何使用Transformers库从预训练的BERT模型中提取嵌入。接着，我们将了解如何从BERT的编码器层中提取嵌入，并学习如何为下游任务微调预训练的BERT模型。
Bert基础(十七)--Bert实战：中文情感识别
最新发布
Andy_shenzl的博客
04-24 1273
说了中文分类的过程，这次说一下情感分类相关的代码，其实情感分类也属于中文多分类的一种，知识情感分类一般会专门区分出来，但是代码基本是一致的，基本步骤：fill:#333;color:#333;color:#333;fill:none;1 加载数据集2 数据预处理3 创建模型4 创建评估函数5 创建训练器6 训练模型7 评估8 预测。
基于BERT事件抽取构建活动知识图谱.zip
03-15
知识图谱是一种结构化的知识表达形式，它以...总之，知识图谱是一个大规模、多领域、多源异构知识集成的载体，是实现智能化信息系统的基础工具和关键基础设施，对于提升信息检索质量、推动智能应用研发具有重要作用。
kaggle数据集
11-12
数据集合适合机器学习入门者的数据集合，可以用来进行特征提取，降维，基础算法测试。
kaggle 文本情感分析数据集
01-09
kaggle 电影评论情感分析（Bag of Words Meets Bags of Popcorn）的全部数据集，自己上网找了半天都找不到，最后是让同学上外网下的，在这里分享给想学习nlp的同学
Kaggle最受欢迎的10个竞赛数据集下载
11-16
分享一下：链接：https://pan.baidu.com/s/1ZIiz16LUcdDpmFTnE6V-lg 提取码：6r7l 关注公众号“深算科技重庆”获取更多免费资料。
Kaggle 上数据集的分享（20类猿猴、电影评论、glove.6B.100D.txt、THUCNews、STL10(train_X.bin)等）
m0_47809115的博客
10-08 407
Kaggle 上数据集的分享（20类猿猴、电影评论、glove.6B.100D.txt、THUCNews、STL10(train_X.bin)等）
[一起学BERT]（一）：BERT模型的原理基础
一条小黑龙的博客
03-23 1725
Self-Attention机制理论 ①首先将x1、x2两个词进行编码得到向量 ②编码后的向量乘以对应的权重矩阵，得到每个词的三个特征矩阵Q、K、V ③计算第一个词的时候通过q1*k1、q1*k2、q1*k3…q1*kn得到当前次对于每个词的分值。因为两个词距离越近关系越大，点乘的结果也就越大 ④最终的value计算 softmax计算流程 分值->e^x->归一化 归一化之后再乘以V矩阵，然后再相加： 为什么要除以根号d呢？如果不除以结果意思就是点乘结果越大就表示影响程度越大，明显是
Bert---理解基础
谁怕平生太急
09-11 457
Bert理解的基础 （1）Word Embedding （2）RNN （3）Seq2Seq （4）Transformer Word Embedding脉络 w2v：词映射到低维稠密空间，使得语义上相似的两个词在语义空间的距离也会比较近。 w2v的问题： 语义是上下文相关的。 而w2v训练出来词的向量始终只有一个。 RNN/LSTM/GRU 来解决。 能记住一些历史信息。再往后发展，Se...
BERT基础解析
qq_51567112的博客
02-27 389
预训练语言模型Bert结构
OpenDataLab 大模型训练数据集下载记录
u013558123的博客
01-29 942
大模型 训练数据集
kaggle数据集汇总_脑电(EEG)等公开数据集汇总
weixin_39721370的博客
11-21 2185
EEG-Datasets，公共EEG数据集的列表。运动想象，情绪识别等公开数据集汇总​mp.weixin.qq.com运动想象数据 1. [Left/Right Hand MI](Supporting data for "EEG datasets for motor imagery brain computer interface"): Includes 52 subjects (38 val...
Web基础知识与JSP程序设计参考书
本课程关注的是WEB基础知识，主要推荐了三本参考书籍：《 Beginning JavaServer Pages JSP程序设计》由Vivek Chopra等人著，由人民邮电出版社出版；《JSP通用模块及典型系统开发》由王夕宁和王晓平共同撰写，同样由...
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值