Bert总结

最新推荐文章于 2024-08-11 06:12:02 发布
最新推荐文章于 2024-08-11 06:12:02 发布
阅读量712 收藏
点赞数
分类专栏： NLP 文章标签： 自然语言处理 Bert attention Transformer nlp
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/yyliunianyy/article/details/109517977
版权

RNN

attention

self-attention

self-attention1 scaled由维度增加导致的距离增大

Additive Attention 和 Dot-product Attention

Transformer

multi-head

  • query，用来和其他每个key vector进行交互，得到当前vector和其他vector的关联性，或者我们说的weights，用于计算自己的output 
  • key，用来和其他query vector进行交互, 帮助其他vector j 产生他的output 
  • value，将query和其他key产生得到的权重，跟自身的value进行加权求和，得到自己的output

Bert

resnet

残差结构能够很好的消除层数加深所带来的信息损失问题

yyliunianyy
关注
  • 0
    点赞
  • 踩
  • 0
    收藏
    觉得还不错? 一键收藏
  • 0
    评论
专栏目录
BERT系列算法解读
qq_52053775的博客
05-19 595
从而提高模型在SQuAD、MNLI和SST-2数据集上的性能。总的来看，这些优化措施显著增强了模型的表现。
BERT系列模型总结
init__的博客
12-29 1485
文章目录参考TransformerTransformer-XLBERTXLNET 参考 NLP预训练模型：从transformer到albert XLNet:运行机制及和Bert的异同比较 从语言模型到Seq2Seq：Transformer如戏，全靠Mask Transformer transformer是这些模型的基础，具体的原理+代码的介绍可以看我的博客：Transformer 代码+原理。 Transformer-XL BERT XLNET XLNet: Generalized Autoregress
BERT预训练模型系列总结
dzysunshine的博客
07-28 3404
预训练模型总结
bert总结
qq_34514046的博客
02-22 722
词嵌入张量: word embeddings 语句分块张量: segmentation embeddings 位置编码张量: position embeddings 最终的embedding向量是将上述的3个向量直接做加和的结果 随机的抽取15%的token作为即将参与mask的对象：80%替换为MASK、10%随机替换、10%不变 ...
Bert系列
m0_37531129的博客
09-01 363
自从BERT发布以后, NLP领域基于BERT的改进也层出不穷。nlp_paper github的一个总结。 下面是BERT系列论文阅读计划, 有些之前做过笔记，就会直接贴过来连接。 BERT: Pre-training of Deep Bidirectional Transformers for Language Understanding - （NAACL 2019） ERNIE 2.0: A Continual Pre-training Framework for Language Understa
BERT 总结
weixin_43923133的博客
02-23 550
BERT总结 一、 rnn和cnn的局限性 RNN的输入是一串vector sequence ，输出是另外一串vector sequence。如果是单向RNN,输出b4时候，会把a1到a4都看过，输出b3时候，会把a1到a3都看过。 所以RNN存在的问题是不容易被平行化，即要算出b4，那么需要从a1依次看到a4才能算出。 CNN的好处是可以平行化，缺点是每一个CNN只能考虑非常有限的内容，要叠加很多层才能看到长期资讯。 CNN的特点是局部连接和权值共享。由输入层，卷积层，激活函数，池化层，全连接层组成。
bert-chinese
04-17
总结来说，BERT-chinese是专门为处理中文文本设计的预训练模型，它利用Transformer架构学习中文语言的深层语义，并能应用于各种NLP任务。"bert-base-chinese"文件可能包含了这个模型的权重和其他相关信息，可供研究...
BERT-AttributeExtraction
02-16
总结起来，BERT在知识图谱属性抽取中的应用体现了深度学习在自然语言处理领域的强大能力，结合微调和特征提取技术，能有效提升从文本中抽取出知识的能力，对于构建和维护大规模知识图谱具有重大价值。
huggingface的bert-base-chinese
03-05
总结来说，"huggingface的bert-base-chinese"是一个强大的预训练中文NLP模型，支持PyTorch和TensorFlow框架，包含完整的模型权重、分词器配置和词汇表，用户可以根据自己的需求选择合适的方式进行加载和应用，进行...
python基于Bert的智能问答系统
04-23
Python基于BERT的智能问答系统是一种...总结，Python基于BERT的智能问答系统是深度学习在自然语言处理领域的一个重要应用，它结合了Python的便利性和BERT的强大语义理解能力，为构建高效、准确的问答系统提供了可能。
bert-base-chinese.zip
12-03
《BERT-base-Chinese：中文自然语言处理的基石》 ...总结来说，BERT-base-Chinese是中文自然语言处理领域的一个重要里程碑，它为中文文本的理解和各种任务的执行提供了强大工具，极大地推动了中文NLP的发展。
GLM大模型的机器翻译能力测试
I good vegetable a!
08-08 710
最近想对GLM-4今年发布的几个大模型 glm-4-0520，glm-4-air以及glm-4-flash简单评测一下它们的机器翻译能力，由于这几个大模型的容量和训练数据都有区别，所以它们的翻译能力也是不同的。我们这里就分别选择一些有趣的，有挑战性的，专业性的数据来分别让glm-4-0520，glm-4-air以及glm-4-flash还有百度翻译分别给出它们的翻译结果。
数学与自然语言处理——统计语言模型
weixin_62403234的博客
08-08 337
数学与自然语言处理——统计语言模型
多模态大语言模型的免训练视觉提示学习 ControlMLLM
u014546828的博客
08-07 783
核心思想：在推理过程中，通过调整MLP输出的视觉标记，控制注意力响应，确保文本提示标记关注到视觉标记在指定区域。优化目标：基于能量函数优化一个可学习的潜在变量，增强注意力图中指定区域的强度。
谈基于大语言模型的图数据库路径检索
姚家湾博客
08-06 921
随着微软已经开源了GraphRAG项目的代码，基于图数据库的RAG 热度迅速升温。关注基于大语言模型与图模型数据库相结合的技术的人多了起来。本文提出了一种类似人工搜索的“顺藤摸瓜”方法，实现图数据库的智能搜索方法。
大语言模型 VRAM 估算指南和工具的的介绍
zhugedali_的博客
08-07 1195
每个头的查询（Q）、键（K）和值（V）的权重矩阵大小均为 l × d ，输出的线性变换矩阵大小为 d × d。因此，一个头的参数数量为 2 × l × d + d × d ，多头的总参数数量为 h × (2 × l × d + d × d)。- 第一个线性层的参数数量为 d_in × d_ff ，第二个线性层的参数数量为 d_ff × d_out。- 对于多头自注意力机制，假设头的数量为 h ，序列长度为 l ，隐藏层维度为 d。
在自然语言处理（NLP）领域，有哪些常用的模型和算法？
最新发布
probably121的博客
08-11 408
自然语言处理（NLP）领域常用的模型和算法包括基础模型、基于CNN的模型、基于RNN的模型、基于Attention机制的模型以及基于Transformer的模型等。它通过深度双向训练，有效捕获单词的上下文信息。FastText：作为Word2Vec的扩展，FastText在语言模型上并没有显著突破，但其模型优化使得深度学习模型在大规模数据的训练非常高效，适用于工业应用。BiRNN（双向循环神经网络）：结合两个RNN层，一个正向处理，一个反向处理，可以同时获取单词的过去和未来信息，增强模型对语境的理解能力。
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值