Attention is all you need

最新推荐文章于 2024-07-22 20:13:59 发布
最新推荐文章于 2024-07-22 20:13:59 发布
阅读量129 收藏
点赞数
分类专栏： 论文 自然语言处理 文章标签： 自然语言处理
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/qq_40334856/article/details/104253220
版权

一、基础积累

1、序列问题（Sequence Problem）
2、序列模型（Sequence Models）
（1）输入输出均为序列数据的模型，序列模型将输入序列数据转换为目标序列的数据
（2）形式：one to many,many to many(seq2seq),many to many
（3）常见的CNN模型：Neural GPU,ByteNet,ConvS2S,带有注意力的CNN模型。
（4）通过RNN模型：

在这里插入图片描述
在这里插入图片描述

（5）了解什么时自注意力机制，以及seq2seq的编码与解码的过程。

二、论文

1、论文的结构
（1）第一遍主要阅读摘要和模型的构造部分，说明和背景会给初读者带来很多未知的困扰
（2）附录的公式和分析的图进行记录，帮助自己以后写论文
（3）快速了解文章的大意（Abstract+Model）+ 复

最低0.47元/天 解锁文章
AI-CTY
关注
  • 0
    点赞
  • 踩
  • 0
    收藏
    觉得还不错? 一键收藏
  • 1
    评论
专栏目录
Attention Is All You Need
11-16
Transformer 和 Attention 机制详解 Transformer 模型是近年来自然语言处理（NLP）领域的研究热点，该模型首次引入了 Self-Attention 机制，彻底摒弃了传统的循环神经网络（RNN）和卷积神经网络（CNN）架构，实现了...
深度学习 - 注意力机制
qq_40671063的博客
05-15 1335
注意力机制含义梳理
NLP：Attention Is All You Need.pdf
04-21
"Attention Is All You Need"这篇论文提出了一种全新的架构——Transformer，它彻底改变了序列转导模型的设计思路。Transformer网络完全基于注意力机制，不再依赖于RNNs和CNNs。这种设计不仅简化了模型结构，也提高...
Attention Is All You Need.pdf
07-05
<p>Attention Is All You Need，NLP经典论文，值得仔细阅读</p>
attention is all you need.pptx
05-10
attention is all you need 讲解PPT 附带注释
Attention Is All You Need.rar
01-03
《Attention Is All You Need》是2017年发表在《Advances in Neural Information Processing Systems》（NIPS）会议上的一篇重要论文，由Google Brain团队的Ashish Vaswani、Noam Shazeer、Niki Parmar、Jakob ...
C2W3.Assignment.Language Models: Auto-Complete.Part1
最新发布
老毛的博客
07-22 830
当模型遇到了一个它在训练过程中从未见过的单词，那么它将没有输入单词来帮助它确定下一个要建议的单词。将所有标记词转换为小写，这样原文中大写的单词（例如句子开头的单词）就会与小写单词得到相同的处理。将每个单词列表添加到句子列表中。为了在预测过程中处理未知词，可以使用一个特殊的标记 “unk”来表示所有未知词。语言模型为单词序列分配概率，使更 “可能 ”的序列获得更高的分数。这里不会使用数据中出现的所有分词（单词）进行训练，只使用频率较高的单词。需要一个双 for 循环，一个用于句子，另一个用于句子中的标记。
人工智能前沿讲座——融合知识的自然语言处理
weixin_74746867的博客
07-17 501
这个老师是支持大模型是有知识的，说不承认大模型有知识就是一叶障目不见泰山，但只是它自己的知识，是人不能理解的。| 微调 ----------------指令。1：知识驱动时代 2、3数据驱动时代（有知识，但人越来越难理解，炼丹）若不等同，说明大模型这条路实现不了真正的人工智能。1、知识记忆一开始是学语言学的整理的，他们负责整理规则。GPT 让GPT做事，要多加限定词，不然知识很难激活，会翻译错意思。研究人与人交际中以及在人与计算机交际中的语言问题的一门学科。2、从数据当中学知识，人再去标注正确错误。
预训练语言模型实践笔记
Everyday try to become better -Kobe Bryant
07-22 338
在使用像BERT或RoBERTa这样的transformer模型时，和是两个不同的概念。: 这是一个布尔值，决定了模型是否应该返回所有隐藏层的输出。如果设置为True，模型将返回一个元组，其中包含每一层的隐藏状态。这对于某些任务（如特征提取或fine-tuning）可能是有用的，因为不同的隐藏层可能会捕获不同类型的信息。: 这是模型的最后一个隐藏层的输出，通常用作下游任务的输入（如文本分类或命名实体识别）。这是模型的主要输出，通常包含了输入序列的高级表示。在大多数情况下，您只需要。
Step-DPO 论文——数学大语言模型理解
liguiyuan的博客
07-19 821
大语言模型（LLMs）在数学推理上具有重大挑战，这是由于数学需要精确的推理链。然而，直接偏好优化（DPO）对长链数学推理的益处有限，因为采用DPO的模型难以识别错误答案中的详细错误。所以作者提出了Step-DPO方法，它将整个答案划分多个步骤作答（Step1, Step2, Step3, ...），大大提高的模型的精度。在MATH数据集上，在上准确率从53.0% 提升到58.6%，GSM8K数据集，准确率从85.5%提升到87.9%。使用模型，在MATH和GSM8K上分别取得70.8%和94.0%
传神社区|数据集合集第7期|法律NLP数据集合集
OpenCSG的博客
07-22 637
简介：与 GLUE 和 SuperGLUE （ Wang et al.， 2109） 一样，我们的目标之一是推动能够处理多个 NLP 任务的通用（或基础）模型，在我们的例子中是合法的 NLP 任务，可能具有有限的特定任务微调。这些数据的用途有两方面：（1）汇总体现不同数据过滤规范和法律的标准的法律的和行政数据源;这个语料库（37GB）的大小很大，代表了所有联邦和州法院的3,446,187个法律判决，并且比最初用于训练BERT的BookCorpus/Wikipedia语料库（15GB）的大小还要大。
NLP： 词袋模型和TFIDF模型
总裁余（余登武）博客
07-18 947
NLP教程：1 词袋模型和TFIDF模型
【NLP】关于参数do_sample的解释
weixin_43941438的博客
07-21 233
do_sample被设置为True，意味着文本生成将采用随机采样方式，而temperature参数则会影响采样时概率分布的形状，从而影响生成文本的多样性。较低的temperature值会使分布更加尖锐，减少随机性，更倾向于选择高概率的词。在自然语言处理（NLP）领域，特别是在使用神经网络模型进行文本生成时，do_sample是一个常见的参数，用于控制模型生成文本的方式。具体来说，do_sample参数决定模型是否采用随机采样（sampling）的方式来生成下一个词，还是仅仅选择最有可能的词。
大语言模型-Transformer-Attention Is All You Need
weixin_42045968的博客
07-17 1070
Transformer是一种由谷歌在2017年提出的深度学习模型。 主要用于自然语言处理（NLP）任务，特别是序列到序列（Sequence-to-Sequence）的学习问题，如机器翻译、文本生成等。Transformer彻底改变了之前基于循环神经网络（RNNs）和长短期记忆网络（LSTMs）的序列建模范式，并且在性能上取得了显著提升。
《昇思25天学习打卡营第24天|基于 MindSpore 实现 BERT 对话情绪识别》
m0_58790800的博客
07-21 609
BERT（Bidirectional Encoder Representations from Transformers）是一个预训练的语言表示模型，可以应用于多种自然语言处理任务，包括对话情绪识别。BERT 通过双向 Transformer 编码器，能同时考虑句子中每个词的前后文信息，从而生成更为丰富的语义表示。
AI测试入门（1）：认识AI大语言模型（LLM）
blues_C的博客
07-19 873
大语言模型是基于深度学习技术的自然语言处理模型，旨在理解和生成类似人类的文本。 这些模型通常经过海量文本数据的训练，能够捕捉语言中的复杂结构和语义关系，从而在多种语言任务中表现出色。
学习记录--Bert、Albert、RoBerta
qq_43728463的博客
07-22 590
BERT在提出的时候提供了两种预训练任务，一个是遮蔽语言模型，即以一定比例随机遮蔽一定比例的输入标记，然后预测那些被遮蔽的标记的预训练任务（PS：ALBERT也不是直接做这个任务，而是换成N-gram的预测任务），另一个则是预测第二个句子是不是第一个句子的下一句。因此，他们认为，词嵌入的维度可以不必与隐藏层的维度一致，可以通过降低词嵌入的维度的方式来减少参数量。在 ALBERT 中，全连接层、注意力层的参数均是共享的，也就是 ALBERT 依然有多层的深度连接，但是各层之间的参数是一样的。
LLaMA: 开源的大规模语言模型
UnityBoy的博客
07-21 422
在人工智能领域，大型语言模型（Large Language Models, LLMs）已经成为研究和应用的热点。近期，Meta（Facebook的母公司）推出了LLaMA（Large Language Model Meta AI），这是一个系列的高性能、可扩展的大规模语言模型。
【论文速读】| LLMCloudHunter：利用大语言模型（LLMs）从基于云的网络威胁情报（CTI）中自动提取检测规则
m0_73736695的博客
07-22 306
本文提出了LLMCloudHunter，这是一个新颖的框架，利用大语言模型（LLMs）从文本和视觉OSCTI数据中自动生成通用签名检测规则候选。

“相关推荐”对你有帮助么？

  • 非常没帮助
  • 没帮助
  • 一般
  • 有帮助
  • 非常有帮助
提交
评论 1
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值