CS224N NLP with Deep Learning - attention

最新推荐文章于 2023-10-28 14:59:18 发布
最新推荐文章于 2023-10-28 14:59:18 发布
阅读量97 收藏
点赞数
分类专栏： NLP 文章标签： 自然语言处理
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/weixin_43575791/article/details/114055196
版权

在这里插入图片描述

在这里插入图片描述
在这里插入图片描述

注意力机制
在这里插入图片描述
在这里插入图片描述
编码器输出的每个隐藏状态和注意力机制给出的权重的加权和就是上下文向量，这样就可以不简单的使用最后一个隐藏层状态作为全部语义表示而是用到了编码器的全部隐藏层状态信息，并且在不同时刻我们生成的权重也不同，这表示我们在不同时刻生成的权重也是不同的。
如何生成注意力分数？
在这里插入图片描述
在这里插入图片描述

在这里插入图片描述
在这里插入图片描述
在这里插入图片描述

在这里插入图片描述
在这里插入图片描述

在这里插入图片描述
在这里插入图片描述

从概率上来说非常好的一种方法是基于采样的方法，也就是连续采样，有时也被称为祖先采样，当我们已经生成了t-1个词的时候，接下来，基于我们的模型，得到第t个词的概率分布，然后我们根据模型的概率分布一次采样一个词，这样一个词一个词的生成。直至生成结尾处的结尾符号。也就是我们生成一个词后，基于我们目前所得，按概率分布对下一个词进行采样，并一直重复下去。这种方法理论上得到的是一个无偏且渐进准确的模型，但在实践中，因为其方差非常大，每次解码同一个句子时得到的结果不相同

实际中用到的方法：
贪婪搜索：
在这里插入图片描述
但是无法保证整体生成最好的句子因为我们使用的是贪婪决策，每一步都可能犯错，因此高效但不是最优的

beam search
在这里插入图片描述
在这里插入图片描述

じんじん
关注
  • 0
    点赞
  • 踩
  • 0
    收藏
    觉得还不错? 一键收藏
  • 0
    评论
专栏目录
CS244n NLP with Deep Learning | Winter 2019
chikeshi的博客
03-05 331
CS244n NLP with Deep Learning | Winter 2019 Lecture 1word2vecLecture 2 Lecture 1 word2vec 每一个单词可以变成一个vector, 相似的word vector也相似 word = [0.230.52−0.41−0.310.270.48]\begin{bmatrix} 0.23 \\ 0.52 \\ -0.41 \\ -0.31 \\ 0.27 \\ 0.48 \end{bmatrix}⎣⎢⎢⎢⎢⎢⎢⎡​0.230.5
CS224n-Natural-Language-Processing-with-Deep-Learning-Stanford-Winter-2021
04-07
【CS224n 自然语言处理与深度学习】是斯坦福大学开设的一门课程，主要探讨如何利用深度学习技术解决自然语言处理（NLP）中的复杂问题。这门课程通常涵盖从基础的序列模型到最先进的Transformer架构，以及在文本分类...
CS224n NLP with Deep Learning（1）：Introduction NLP与深度学习入门
拾遗
11-21 284
引言 课程笔记：笔记pdf youtube观看链接：youtube列表 bilibili观看链接：斯坦福CS224n 本讲主要包括四个方面： 什么是自然语言处理？ 什么是深度学习？ 为什么language理解起来困难？ 关于NLP的深度学习 1. 什么是自然语言处理？ 自然语言处理（Natural Language Processing）是计算机科学（Computer Scien...
斯坦福NLP名课带学详解 | CS224n 第9讲 - cs224n课程大项目实用技巧与经验（NLP通关指南·完结）
ShowMeAI研究中心
05-05 4205
NLP课程第9讲介绍了课程大项目的细节、寻找研究主题、项目数据、门控神经序列模型回顾、机器翻译主题、研究方式、结果呈现和评估等。
Task 4: Contextual Word Embeddings （附代码）（Stanford CS224N NLP with Deep Learning Winter 2019）
南有芙蕖
07-01 790
Task 4: Contextual Word Embeddings 目录Task 4: Contextual Word Embeddings词向量的表示一、Peters et al. (2017): TagLM – “Pre-ELMo”二、Peters et al. (2018): ELMo: Embeddings from Language Models三、ULMfit四、Transformer1.Encoder2.Decoder3.Positional Encoding五、BERT六、补充知识点：GP
2019年CS224N课程笔记-Lecture 20:The Future of NLP+Deep Learning
任萌新的小生活
09-14 2515
资源链接：https://www.bilibili.com/video/BV1r4411f7td?p=20 正课内容 5年前NLP的深度学习 No Seq2Seq No Attention No large-scale QA/reading comprehension datasets No TensorFlow or Pytorch 深度学习+NLP的未来 利用无标签数据 Back-translation 和 无监督机器翻译 提高预训练和GPT-2 接下来呢？ NLP技术的..
CS224N NLP
exu131g的博客
03-01 704
文章目录AbbreviationLecture 1 - Introduction and Word VectorsNLPWord2vecUse two vector in one word: centor word context word.softmax functionTrain the model: gradient descentShow some achievement with code(5640-h0516)QALecture 2 Word Vectors,Word Senses,and Ne
【2019斯坦福CS224N笔记】（9）Deep Learning for NLP Best Practices
abcgkj的博客
07-21 510
本人在看CS224n Lecture9课程后，本节课程主要讲的是Final project和回顾了GRU和LSTM网络。没有特别多的新内容，故在网上找到了一篇国外大佬写的关于NLP实践总结的博文，故翻译之与大家进行分享。 原文作者：Sebastian Ruder [原文链接] (http://ruder.io/deep-learning-nlp-best-practices/index.html#...
斯坦福NLP名课带学详解 | CS224n 第15讲 - NLP文本生成任务（NLP通关指南·完结）
ShowMeAI研究中心
05-10 3630
NLP课程第15讲回顾了NLG要点，介绍了解码算法、NLG任务及其神经网络解法，着手解决NLG评估中的棘手问题，并分析了NLG目前的趋势以及未来的可能方向。
CS224N（2.21）Transformers and Self-Attention For Generative Models
wangbo96的博客
04-08 174
转载自：https://bitjoy.net/2020/03/04/cs224n%ef%bc%882-21%ef%bc%89transformers-and-self-attention-for-generative-models/ 今天介绍大名鼎鼎的Transformer，它于2017年出自谷歌的论文《Attention Is All You Need》（https://arxiv.org/pdf/1706.03762.pdf），用Attention实现机器翻译模型，并取得了新的SOTA性能。 传统的
NLP-with-Deep-Learning:斯坦福CS224n的自学笔记和代码
03-20
《深度学习驱动的自然语言处理：斯坦福CS224n自学笔记与代码解析》 在当今信息爆炸的时代，自然语言处理（NLP）已成为人工智能领域的重要分支，它旨在让计算机理解和生成人类语言，实现人机之间的高效沟通。斯坦福...
cs224n-2017-winter：CS224n的所有讲义，幻灯片和作业：斯坦福大学的“深度学习中的自然语言处理”课程
02-07
CS224n是斯坦福大学开设的一门深度学习与自然语言处理（NLP）相关的课程，课程编号为"cs224n-2017-winter"，主要聚焦在如何利用深度学习技术来解决自然语言处理领域的各种问题。这门课程涵盖了从基础的神经网络模型...
cs224d自然语言处理课件（完整版）深度学习
06-06
自然语言处理（NLP，Natural Language Processing）是人工智能领域的一个重要分支，而近年来，随着深度学习（DEEP LEARNING）技术的发展，NLP的研究与应用取得了显著的突破。斯坦福大学的CS224d课程，即“深度学习下...
2018年CS224n资料
10-29
斯坦福大学的CS224n课程是深度学习应用于自然语言处理（NLP）领域的权威课程，于2018年开设。这门课程涵盖了广泛的理论知识和实践技能，旨在帮助学生深入理解NLP的核心原理，并掌握利用深度学习解决实际问题的方法。...
论文阅读——InstructGPT
最新发布
weixin_43575791的博客
10-28 1117
从这些提示（提交给OpenAI API的文本提示和标注者自己写的）产生三个微调阶段的数据集：SFT(Supervised fine-tuning) dataset（约13K提示，从API和手写获得），RM dataset（约33K提示，从API和手写获得），PPO dataset（约31K提示，只从API获得）。InstructGPT模型最早版本的提示是标注者自己写的，这是因为我们需要一个类似指令的提示的初始来源来引导进程，而这些类型的提示并不经常提交给API上的常规GPT-3模型。
论文阅读——GPT3
weixin_43575791的博客
10-27 941
因此需要消除这个限制。解决这些问题的一个潜在途径是元学习——在语言模型的背景下，这意味着该模型在训练时发展了一系列广泛的技能和模式识别能力，然后在推理时使用这些能力来快速适应或识别所需的任务（如图1.1所示）模型结构和GPT2一样，但是改了初始化、预归一化、reversible tokenization，以及在transformers层中使用类似Sparse Transformer的交替密集和局部稀疏的注意力模式。关于“zero-shot”, “one-shot”, or “few-shot”
论文阅读——BART
weixin_43575791的博客
10-27 881
Token Deletion：随机抽取到的token删除（Token Masking是抽取到的token用mask代替，这个是随机抽取到的token删除），模型可以学习到什么位置的token丢失了。input：被破坏的文本-->bidirectional encoder-->left-to-right autoregressive decoder-->output。Document Rotation：文章中随机找到一个token，将文章翻转，以该token作为文章的开头。二、Loss：交叉熵。
论文阅读——BERT
weixin_43575791的博客
10-27 728
损失函数-最大似然，首先在TriviaQA上微调，然后在SQuAD 上微调）、SQuAD v2.0（没有在TriviaQA上微调）、The Situations With Adversarial Generations (SWAG)2）训练两个子任务：Masked LM（MLM）,Next Sentence Prediction (NSP)预训练参数初始化，针对不对任务在有标签数据的所有参数微调，不同任务各自单独微调。双向预训练模型——通过训练MLM子任务获得。二、训练：两阶段训练——预训练和微调。
深度学习与自然语言处理：CS224n中文笔记全集
"这是一份全面的CS224n自然语言处理课程的中文笔记，包含从基础到高级的各种主题，并且每个主题都有相应的标签，便于查找和学习。该课程由斯坦福大学提供，适合作为深度学习入门的学习资料，同时在网易云课堂可以...
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值