DL&NLP学习笔记 & 2021春招面试——RNN & Attention

最新推荐文章于 2024-08-18 12:02:19 发布
最新推荐文章于 2024-08-18 12:02:19 发布
阅读量205 收藏
点赞数
文章标签： 神经网络 深度学习 自然语言处理
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/Uniqorn/article/details/114041812
版权
本文介绍了词表示的几种方式，如基于语言模型的RNN，以及RNN的基本结构和训练问题，包括梯度消失和爆炸。此外，详细阐述了Attention机制，特别是Dot-Product Attention，用于解决RNN中长序列信息处理的挑战，使得模型在解码时能关注输入序列的不同部分。
摘要由CSDN通过智能技术生成

目录

Word Representation

词表示分类如下：
词表示分类
语言模型：预测一个词序列的概率

RNN

假设：时间信息很重要
想法：将上一个隐藏层的信息传递给所有上下文；将神经网络的条件设置为所有前面的单词，并在每个时间步上绑定权重；

Bi-Gram模型：用前一个词预测下一个词
在这里插入图片描述
RNN：用前面所有词预测下一个词
在这里插入图片描述

RNN Formulation

激活函数：在这里插入图片描述
在这里插入图片描述

模型训练过程

在这里插入图片描述
在这里插入图片描述
在训练过程中会考虑所有输出节点的cost function
在这里插入图片描述
所以所有参数的update要考虑所有偏微分计算的影响
在这里插入图片描述

RNN Training Issue：梯度消失or爆炸

梯度是雅可比矩阵的乘积，每一个都与前向计算中的一步相关联，在后向传播过程中的每一个时间步都会乘以相同矩阵
在这里插入图片描述
梯度变得非常小或很大→梯度消失或梯度爆炸

梯度爆炸解决方法：梯度裁剪
在这里插入图片描述
梯度消失解决方法：门控
在这里插入图片描述

Attention

Attention weight

Attention weight：越高越说明需要放越多的注意力在h上面
在这里插入图片描述
将Decoder部分的hidden layer与Encoder部分hidden layer的计算match程度，结果为attention值。在Encoder部分通过attention值和softmax计算出attention weight，再加权求和计算出中间的context embedding，在Decoder部分与同时间节点hidden layer一起传入下一个时间节点。
在这里插入图片描述
在decode的时候，每一个time step都计算一个attention，使每一个output能focus在不同的input上：
在这里插入图片描述
KQV的出现：其中Key和Query的数量要相对应
在这里插入图片描述

Dot-Product Attention

在这里插入图片描述
矩阵形式：
在这里插入图片描述

参考资料

NTU ADL 2020 https://www.csie.ntu.edu.tw/~miulab/s108-adl/syllabus
Dive into Deep Learning
https://d2l.ai/

Uniqorn
关注
2021年4月份 ，NLP算法岗面试题总结
niuyunpang的博客
06-03 321
添加微信：julyedufu77，回复 “ 6 ”，领取最新升级版《名企AI面试100题》电子书！！ 面试题 **问题 1：**怎么处理数据不平衡 **问题 2：**给你单链表的头节点 head ，请你反转链表，并返回反转后的链表。 **问题 3：**连续子数组的最大乘积 **问题 4：**最大子数组 **问题 5：**一个硬币正面概率p 那么抛到第几次抛正面期望 题目解析 问题1：怎么处理数据不平衡 常用于解决数据不平衡的方法： **欠采样：**从样本较多的类中再抽取，仅保留这些样本点的一部分； **过采
2021年9月中旬，百度NLP岗位面试题分享（二）
niuyunpang的博客
11-09 192
问题6：NLG的评估指标有哪些 BLEU (Bilingual Evaluation Understudy) ROUGE (Recall Oriented Understudy for Gisting Evaluation) BLEU是机器翻译中使用最广泛的评估指标，可以看成是精确率，公式如下： ROUGE可以看作是召回率，有以下几种： ROUGE-N：计算 n-gram 的召回率，即算出候选译文和参考译文重合的 n-gram 个数占参考译文的比例； ROUGE-L：计算最长公共子序列（LCS）的.
【深度学习】图解 Attention（完整版）！
fengdu78的博客
08-18 107
译者：张贤，哈尔滨工程大学，Datawhale原创作者本文约4000字，建议阅读11分钟审稿人：Jepson，Datawhale成员，毕业于中国科学院，目前在腾讯从事推荐算法工作。序列到序列（seq2seq）模型是一种深度学习模型，在很多任务上都取得了成功，如：机器翻译、文本摘要、图像描述生成。谷歌翻译在 2016 年年末开始使用这种模型。有2篇开创性的论文：Sutskever等2014年发布的：...
NLP/Transformer/BERT/Attention面试问题与答案
yaohaishen的专栏
02-18 2758
主要聚焦目前处于NLP舞台中央的Transformer/BERT/后BERT 和 Self Attention。 筛选的问题会深入到上述算法/模型更细节的地方，而尽量避免大而泛的问题。本文希望能帮助你对Transformer/BERT的理解再深一层，而这也要求你对上面的算法/模型有基本的认识，主要包括这两部分（后BERT的模型可以自行查找）： 1、论文：论文是最一手的资源，没有各方解读的杂音 Transformer:Attention Is All You Need BERT:Pre-train..
5-机器学习进阶-RNN与Attention（2)
qq_15821487的博客
08-12 137
文章的细分就是句子，把没个句子转换成对应的向量 类似K和V，做相似度计算和实际值的可以不一样 可以反过来调整答案，构成闭环 根据参数调整系数 改变memory里面的值 不同的注意力要均衡效果才好 训练和测试不是很匹配 训练的时候输入的是真正的答案，测试输入的是上一时刻输出的结果 不匹配一步错步步错了 训练的时候直接给输出也训练不起来，先用实际值输入训练，然后采用随机的方式选择实际值和输出值作为下一时刻的输入训练 测试生成的时候用Beam Search，一个时刻最大，未必是整条链路最大，.
Attention和Transformer灵魂七问
sgzqc的专栏
04-22 1123
Transformer和Attention结构详解
DL&NLP学习笔记 & 2021春招面试——Word Embeddings
Uniqorn的博客
02-24 218
目录Word EmbeddingWord2Vec —— Skip-GramWord2Vec 训练Loss FunctionSGD Update for W'(Output Layer Weight)SGD Update for W (Hidden Layer Weight)Negative SamplingHierarchical SoftmaxNegative SamplingWord2Vec 变形GLoVeWord Vector EvaluationIntrinsic Evaluation –Word
自然语言处理（NLP）学习笔记——RNN模型
qq837993702的博客
10-05 9741
了解什么是RNN模型. 了解RNN模型的作用. 了解RNN模型的分类.
深度学习代码实战——基于RNN的时间序列拟合（回归）
12-21
这种方法可以应用于许多实际场景，例如股票价格预测、语音识别或自然语言处理等，只要数据包含时间上的连续性或序列依赖性，RNN都能发挥优势。通过调整模型结构和参数，我们可以优化模型性能，以适应不同复杂度的...
算法/机器学习(Machine Learning)/深度学习(Deep Learning)/自然语言处理(NLP)面试笔记
07-03
校招/春招/秋招/算法/机器学习(Machine Learning)/深度学习(Deep Learning)/自然语言处理(NLP)/C/C++/Python/面试笔记
算法机器学习深度学习(Deep Learning)自然语言处理(NLP)CC++Python面试笔记
最新发布
09-30
20182019校招春招秋招算法机器学习(Machine Learning)深度学习(Deep Learning)自然语言处理(NLP)CC++Python面试笔记.zip
对RNN中attention机制的一点理解
qq_41034122的博客
09-02 1053
Computational limitations（计算局限性） 在RNN中，attention的加入到底能解决什么问题呢。就是计算局限性的问题。 计算局限性主要表现在计算机视觉中。比如在目标检测方面，采用滑动窗口模式可以地毯式的提取图片信息，但是成本过高，内存占用很大。 计算局限性目前的解决方式及优缺点 减少分类器窗口数量 很多工作致力于降低滑动窗口模式的成本，具体包括减少那些已经被评估完整...
算法面试之transformer的Attention和多头自注意力机制
持续战斗状态的博客
04-02 6291
1.Attention CNN CNN的卷积操作可以提取重要特征，我觉得这也算是Attention的思想，但是CNN的卷积感受视野是局部的，需要通过叠加多层卷积区去扩大视野，然而实际情况是CNN做NLP问题就是做不深，做到2到3层卷积层就做不上去了； 另外，Max Pooling直接提取数值最大的特征，也像是hard attention的思想，直接选中某个特征。Max Pooling的操作逻辑是：从一个卷积核获得的特征向量里只选中并保留最强的那一个特征，所以到了Pooling层，位置信息就被扔掉了。 RNN
attention中的问题
weixin_43444314的博客
04-28 571
softmax和 这个是一个意思
Seq2Seq + attention 模型原理、训练，以及编码过程
Chen_Meng_的博客
01-04 5695
目录 1. 简介 2. Seq2Seq 2.1 Encoder 2.2 Decoder 3. Seq2Seq with Attention 3.1 Decoder 4. Train 5. Decoding 5.1 理论 5.2 实例 6 总结 1. 简介 Seq2Seq的基本结构是encoder-decoder，这个模型的目标是生成一个完整的句子。这个模型曾经使得谷...
图解 Attention（完整版）！
Datawhale
11-02 741
↑↑↑关注后"星标"Datawhale每日干货&每月组队学习，不错过Datawhale干货译者：张贤，哈尔滨工程大学，Datawhale原创作者本文约40...
BiGRU-Attention 模型训练方法
qq_40900196的博客
04-03 6099
BiGRU-Attention 模型训练方法 本文 BiGRU-Attention 模型以 IMDB 数据集、预设参数和 迭代次数 N 为输入，经过文本向量化输入层把 IMDB 数据集处理词向量的形式，利用 BiGRU-Attention 模型对 IMDB 数据集进行分类。 算法 BiGRU-Attention 神经网络的文本情感分类算法 输入: IMDB 数据集、预设参数、迭代次数 N。 输出...
attention计算过程解析（原理解析）
这里是标题
06-27 1万+
Attention    attention 机制在最近的机器学习中应用广泛，并且在各个模型上都取得了良好成绩。尤其是在机器翻译中，训练出来的模型的翻译质量明显提高了一个层次。这里就简单的说一些attention的原理以及计算过程，主要是attention的计算过程的记录。    首先是基本的attention的计算过程：(这里是逆向解析的)    第一步：计算attention     这里的表...
Attention注意力机制--原理与应用
热门推荐
joshuaxx316的专栏
04-24 10万+
注意力机制即Attention mechanism在序列学习任务上具有巨大的提升作用，在编解码器框架内，通过在编码段加入A模型，对源数据序列进行数据加权变换，或者在解码端引入A模型，对目标数据进行加权变化，可以有效提高序列2序列的自然方式下的系统表现。 Attention模型的基本表述可以这样理解成（我个人理解）：当我们人在看一样东西的时候，我们当前时刻关注的一定是我们当前正在看的这样东西的某一
深度学习笔记：NLP与机器翻译中的RNN解析
"这篇学习笔记主要探讨了深度学习在自然语言处理（NLP）领域的应用，特别是关注机器翻译技术，涉及RNN（循环神经网络）、GRU（门控循环单元）、LSTM（长短期记忆网络）等模型以及Seq2Seq（序列到序列）架构。...
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值