BERT学习笔记

已于 2024-02-23 09:43:42 修改
阅读量1.3k 收藏 26
点赞数 23
分类专栏： NLP 文章标签： bert 学习 笔记
于 2024-02-23 09:30:12 首次发布
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/DaGongJiGuoMaLu09/article/details/136247835
版权

论文：《BERT: Pre-training of Deep Bidirectional Transformers for Language Understanding》，2019

代码：[tensorflow]，[pytorch]

来源：李沐精度BERT

0、摘要

与之前模型的区别：

  • GPT考虑的是一个单向预测，用左边的词预测右边的词；但BERT则是同时利用左边和右边的词，来预测中间的词

  • ELMO用的BiLSTM，但是它使用的是RNN结构，在应用到下游任务时它需要对模型结构做调整；但BERT使用的是transformer，在下游任务中只需要改上层的一小部分就可以了

基本效果：

  • 11个任务上取得更高的精度

  • GLUE提升7.7%，至80.5%；MultiL1提升4.6%，至86.7%；SQuAD v1.1提升1.5，至93.2；SQuAD v2提升5.1，至83.1

1、导言

句子层面的任务：情感识别

单词层面的任务：命名实体识别

下游任务使用预训练模型的两种方式：

  • Feature-based：下游任务先用训练好的预训练模型来提取训练语料的特征，这个特征可能是预训练模型encoder的输出，也可能是某个中间层的隐藏状态；然后下游任务再用这个特征对自己的模型做训练。简单来说，就是用预训练模型做一个特征提取器？

  • Fine-tuning：根据下游特定的任务，在原来的预训练模型上进行一些结构方面的修改，这些修改通常是在模型的最后一层，使得模型输出是当前任务所需要的；然后在新的语料上重新训练修改后的模型。

之前工作的局限性：从左到右，单向，不太符合人类对语言的理解

MLM：Masked Language Model，带掩码的语言模型

贡献：

（1）展示了双向信息的重要性

（2）第一个基于微调、且在各项任务上都取得优越性能的预训练模型

2、相关工作

非监督的基于特征的方法：代表作是ELMo

非监督的微调方法：代表作是GPT

在有标注的数据上做迁移学习

3、BERT

Pre-training：在无标注的数据上做训练

Fine-tuning：模型首先用预训练好的模型做参数初始化，然后用下游任务标注好的数据对所有的参数做训练

image-20240222195623044

L：transformer块的个数

H：隐藏层的大小

A：自注意力机制模块head的数量

LHATotal parameters
BERT_Base1276812110M
BERT_Large24102416340M

切词方式：WordPiece（类似于BPE，字节对编码？？）

句子的第一个 token 永远是 [CLS]，它代表 classification，其在最后一个隐藏层的输出就代表整个序列在句子层面的信息。

句子与句子之间用一个 [SEP] 分割，它代表 separate。

image-20240222201913130

上图即为BERT嵌入层的做法，分为三部分：

  • Token Embedding：词元的嵌入，就是正常的单词嵌入向量
  • Segment Embedding：词元属于哪一个句子的嵌入，是属于第一个句子，还是属于第二个句子（第一个[SEP]属于第一个句子）
  • Position Embedding：词元的位置嵌入，是在整个输入序列中的位置（不是在单独某一个句子中的位置）

BERT用的是transformer的编码器（没用decoder），所以它的每一个词都会跟句子中的其他词计算注意力关系。

预训练中两个比较重要的点：（1）目标函数；（2）数据。

任务一：Masked LM，预训练的数据有Mask，但是微调的数据没有Mask，这会带来一些问题（什么问题？？），解决方案是：

  • 15%被选中的待预测词，有80%的概率被替换成 [Mask] 掩码符号，有10%的概率被替换成随机的词元，有10%的概率保持不变但依然去做预测。

在这里插入图片描述

任务二：Next Sentence Prediction（NSP），预测下一个句子

  • 两个句子A和B，50%的概率B是在A之后（正例），有50%的概率B就是从其他地方选取出来的、跟A无关的一个句子（负例）
image-20240222204150332

注：上面的 ## 表示后面的那个词跟前面的词是一个单词，因为 flightless 是一个不常见的单词，所以就把它分开成两个常见的单词flight和less。

BERT的Fine-Tuning：根据下游任务的形式，设计模型的输入和输出（模型本身不需要做太多改变）

  • 如果做分类，就用第一个词元 [CLS] 的输出来做分类；
  • 如果做句子预测，就对每个词元的输出再加一个输出层，做softmax做预测；

4、实验

GLUE：分类任务，对第一个词元 [CLS] 的输出做softmax，然后分类。

SQuAD v1.1：Q&A任务，给模型一段话，然后提一个问题，需要在这段话中找出这个问题的答案，这个答案已经在这段话里面了，模型只需要找出答案片段的开始和结尾。

5、消融实验

BERT用作Feature-Based的效果并不好，用作Fine-Tuning更好一些。

6、结论

（1）使用非监督的预训练是很好的，这使得那些数据量很小的下游任务也能使用神经网络

（2）主要的贡献就是把前人的工作成果扩展到双向的深度结构上

dagongji10
关注
专栏目录
bert笔记
zh515858237的专栏
05-18 2317
BERT是Bidirectional Encoder Representations from Transformers的缩写。bert其实就是由多层的Transformer Encoder堆叠成的，所谓的Bidirectional其实也就是Transformer中的self-attention机制。或者也可以说是Self-Attention Layer和Layer Normalization的堆叠而成。
Bert学习笔记
weixin_74643084的博客
11-28 897
BERT学习笔记
bert学习笔记
lushilun的博客
01-03 143
BERT学习笔记一：运行BERT模型代码前-附件资源
03-02
BERT学习笔记一：运行BERT模型代码前-附件资源
预训练BERT学习笔记
weixin_43886056的博客
08-12 1900
预训练BERT学习笔记 文章目录预训练BERT学习笔记一、概述二、Transformer框架2.1 总体结构2.2 输入编码2.3 Self-Attention2.3 Multi-Head Attention2.4 Encoder-Decoder Attention2.5 损失层2.6 位置编码三、BERT介绍3.1 Embedding层3.2 Encoder层3.2.1 Masked Language Model3.2.2 Next Sentence Prediction3.3 prediction层四、
Bert学习笔记（一）
TheHills的博客
07-26 226
Bert学习笔记（一）nlp基本任务 今天主要参考https://blog.csdn.net/jiaowoshouzi/article/details/89073944这篇文章学习。 nlp基本任务 nlp大致可分为三个模块，数据集建立和预处理；文本嵌入；根据嵌入向量训练模型。其中二三点可能在有些场景中比较模糊，如可能文本嵌入后就能得到目标结果。 语言模型：对于文本 ...
BERT学习笔记：run_classifier.py
Dong Hsueh
06-11 6492
BERT 源码初探之 run_classifier.py 本文源码来源于 Github上的BERT 项目中的 run_classifier.py 文件。阅读本文需要对Attention Is All You Need以及BERT: Pre-training of Deep Bidirectional Transformers for Language Understanding两篇论文有所了解，...
数据分析——学习框架
不迁怒，不贰过。小知识，大智慧。
11-11 976
本教程旨在为读者提供一个系统化的数据分析学习框架，涵盖从数据收集、清洗、分析到可视化和报告的各个环节。通过深入探讨每个环节的理论与实践，读者将能够掌握数据分析的基本技能，提升数据处理和分析的能力。无论您是数据分析的初学者，还是希望进一步提升技能的专业人士，本教程都将为您提供有价值的指导和实用的工具，助您在数据分析的旅程中取得成功。
批量归一化 BN(Batch Normalization) (减少重复学习 - 加速损失收敛) + 代码实现 ——笔记2.15《动手学深度学习》
科研汪小陈的博客
11-08 1035
批量归一化固定小批量中的均值和方差，然后学习出适合的偏移和缩放； 可以加速收敛速度（比如以前学习率是0.01，现在用了批量归一化后，可以调到0.1） 不会出现之前：学习率太大的话，上面 (靠近损失的梯度) 会炸掉； 不会出现之前：学习率太小的话，下面 (靠近数据的模型参数) 会学不动； 每一个层的输出都通过均值方差放在一起了，上下层的分布都差不多是正态分布； 但一般不改变模型精度
Greiner 经典力学（多体系统和哈密顿力学）第十二章 学习笔记（Rotation About a Point）
Ivan 的专栏
11-09 839
上一章是绕定轴转动，这章是绕定点转动。这一章明显上难度了。
一、HTML学习（基础知识学习）
weixin_44463519的博客
11-11 462
前端学习第一章之HTML学习
Python基础学习-04列表List
soarfeng的专栏
11-10 457
• 使用[] 定义一个列表3） L = [[1,2,3],[4,5,6],[7,8,9]• 如何掌握本节内容1）掌握并记住：一维、二维列表、索引、分片操作、函数、数组解析等2）课后：把代码自己敲一遍。
生信：TCGA学习（R、RStudio安装与下载、常用语法与常用快捷键）
最新发布
shanshan的博客
11-11 585
macOS系统，已安装homebrew且会相关命令。近期在整理草稿区，所以放出该贴。
青少年学习倦怠测评
一火的专栏
11-09 185
未来，可以进一步拓展研究样本和范围，深入探讨学习倦怠的影响因素和干预措施，为青少年的教育发展贡献更多的力量。通过编制问卷，收集学生在学习过程中的情感体验、学习态度、学业成绩等方面的信息，进而评估学生的学习倦怠情况。为了全面评估青少年的学习倦怠情况，本研究基于文献综述和实证调查，编制了一份包含情感耗竭、学业疏离和低成就感三个维度的青少年学习倦怠测评问卷。随着教育竞争的日益激烈，青少年面临着巨大的学习压力。学校和教师应该注重培养学生的学习兴趣和爱好，鼓励学生参加课外活动和兴趣小组，拓宽学生的知识面和视野。
一文学习Android中的Treeview
执剑人
11-08 734
在Android开发中，TreeView是一种用于显示层次结构的组件，可以让用户展开和折叠子项，以方便查看数据的不同层次。TreeView在文件系统、组织架构、目录结构等场景中非常有用，尽管Android并未提供内置的TreeView控件，但可以通过一些方式实现类似效果。下面介绍如何在Android中实现一个简单的TreeView，通常是通过自定义适配器和数据结构来构建。
D60【python 接口自动化学习】- python基础之数据库
tian_nx的博客
11-06 520
数据库就是指数据存储的库，作用就是组织数据并存储数据...
ORB-SLAM2源码学习：ORBextractor.cc ：ComputeKeyPointsOctTree计算并分配特征点②
2301_76831056的博客
11-08 1272
该函数接受一个二维vector的引用vector& allKeypoints。外层的 vector 存储不同层级的特征点，每个内层的 vector 存储在该层级中提取到的特征点。该参数的声明是在主入口函数operator（）中进行的。它是在构建完图像金字塔（决定了每层分配多少个特征点）后进行的，是要真正的用特征点去填满金字塔。
《线性代数》学习笔记
tan_liang_liang的博客
11-11 121
直观上就是，如果第三个向量的直线掉在前面两条向量张成的平面，那么就线性相关，否则是线性无关的。就是用前面确定线性无关的两个列向量a和b，组成议程ax+by=c是否有解，如果有解。如何判断有解，用消元法。求解这样的方程，先把它转换成行阶梯式，而且每一个主元上面对应的系数是0。什么是基础解系，就是其它解可以表示成两个向量的线性组合，这两个向量就是基础解系。上个星期继续学线性代数，一个矩阵，如何判断它是的列向量有几个是线性无关呢？第二种方法是判断这个矩阵的行列式，如果行列式计算不是0,那么它的列向量就是无关的。
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值