bert中的sep_最强NLP模型BERT可视化学习

最新推荐文章于 2023-11-19 16:48:09 发布

weixin_39765840

最新推荐文章于 2023-11-19 16:48:09 发布

阅读量398

点赞数

文章标签： bert中的sep

本文链接：https://blog.csdn.net/weixin_39765840/article/details/111557124

版权

本文介绍了谷歌的BERT模型在NLP领域的应用和核心思想，包括Transformer结构和无监督预训练。通过分析BERT的多层注意力结构和多个“头”，揭示了BERT的复杂性。借助可视化工具，展示了BERT模型学习的不同模式，如关注下一个单词、前一个单词、相同/相关单词、其他句子中的单词、预测单词以及分隔符标记的注意力模式。

摘要由CSDN通过智能技术生成

2018年是自然语言处理(Natural Language Processing, NLP)领域的转折点，一系列深度学习模型在智能问答及情感分类等NLP任务中均取得了最先进的成果。近期，谷歌提出了BERT模型，在各种任务上表现卓越，有人称其为“一个解决所有问题的模型”。

BERT模型的核心思想有两点，对推动NLP的发展有着重要的作用:(1)Transformer结构；(2)无监督的预训练。Transformer是一个只基于注意力(Attention)机制的序列模型，《Attention is all you need》一文中指出，它摒弃了固有的定式，没有采用RNN的结构。BERT模型同时需要预训练，从两个无监督任务中获取权重：语言建模(给定左右上下文，预测丢失的单词)以及下一个句子预测(预测一个句子是否跟在另一个句子后面)。

BERT是个“多头怪”

BERT与传统的注意力模型有所不同，它并非在RNN的隐藏状态上直接连接注意力机制。BERT拥有多层注意力结构(12层或24层，取决于模型)，并且在每个层(12层或16层)中都包含有多个“头”。由于模型的权重不在层与层之间共享，一个BERT模型相当于拥有24×16=384种不同的注意力机制。

BERT可视化

BERT模型较为复杂，难以直接理解它学习的权重的含义。深度学习模型的可解释性通常不强，但我们可以通过一些可视化工具对其进行理解。Tensor2Tensor提供了出色的工具对注意力进行可视化，我结合PyTorch对BERT进行了可视化。点击查看详情。

该工具将注意力可视化为连接被更新位置(左)和被