5-机器学习进阶-RNN与Attention（2)

最新推荐文章于 2024-03-08 11:19:04 发布
最新推荐文章于 2024-03-08 11:19:04 发布
阅读量134 收藏
点赞数
分类专栏： 李宏毅课程-机器学习飞桨深度学习学院 文章标签： rnn 自然语言处理 深度学习
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/qq_15821487/article/details/119634440
版权

在这里插入图片描述
文章的细分就是句子，把没个句子转换成对应的向量
在这里插入图片描述
类似K和V，做相似度计算和实际值的可以不一样，提取注意力的向量和参与实际值运算的向量是可以不一样的，类似自注意力一样，提取后可以把问题和提取出来的值丢进另外一神经网络
在这里插入图片描述
可以反过来调整答案，构成闭环
在这里插入图片描述

在这里插入图片描述
根据参数调整系数
在这里插入图片描述
改变memory里面的值，就是原始的输入值
在这里插入图片描述
不同的注意力要均衡效果才好，要限制某些条件，无非就是去调整损失函数，然后梯度更神经网络的参数，然后更新输出值
在这里插入图片描述
训练和测试不是很匹配
训练的时候输入的是真正的答案，测试输入的是上一时刻输出的结果
在这里插入图片描述
不匹配一步错步步错了，就是个状态转移方程一样，树状图，所谓的曝光偏差就是测试的时候，是训练的时候没有见过的，直接就乱了，可以把模型当做个人一样的学习状态
在这里插入图片描述
训练的时候直接给输出也训练不起来，先用实际值输入训练，然后采用随机的方式选择实际值和输出值作为下一时刻的输入训练，等模型学好了再用，缓解了曝光偏差，后面是有参考输出值的
在这里插入图片描述
测试生成的时候用Beam Search，一个时刻最大，未必是整条链路最大，采用多条路径并行预测，每次取局部链路累乘的最大，不是某一个的最大
在这里插入图片描述
在这里插入图片描述
用强化学习的方法让产生的句子更像正常的句子，产生完整的句子后给个奖励
一个是loss，一个是整个句子是否像句人话，符合语法
是否像句人话直接去参与loss，这个是类似0/1的离散，后导致梯度调节的时候损失不变化，导致不能更新，所以用强化方法，用总和的方法

愚昧之山绝望之谷开悟之坡
关注
  • 0
    点赞
  • 踩
  • 0
    收藏
    觉得还不错? 一键收藏
  • 0
    评论
专栏目录
第十章：AI大模型的学习与进阶10.3 未来发展与职业规划10.3.2 职业发展路径
禅与计算机程序设计艺术
01-19 431
在本章中，我们深入探讨了AI大模型的学习与进阶，揭示了其未来发展趋势与挑战。AI大模型将更加强大，涉及更多领域。AI大模型将更加智能，具有更高的解释性。AI大模型将更加可扩展，支持更多应用场景。AI大模型的计算成本较高，需要更高效的算法和硬件支持。AI大模型的数据需求较大，需要更好的数据处理和挖掘技术。AI大模型的模型复杂度较高，需要更好的模型解释和可视化技术。
基于RNN的Attention机制
phyllisyuell的博客
02-23 1976
一、注意力机制： 1、为什么会产生注意力机制 前馈网络和循环网络都有很强的能力。但为什么还要引入注意力机制呢？ 1）计算能力的限制：当要记住很多“信息“，模型就要变得更复杂，然而目前计算能力依然是限制神经网络发展的瓶颈。 2）优化算法的限制：虽然局部连接、权重共享以及pooling等优化操作可以让神经网络变得简单一些，有效缓解模型复杂度和表达能力之间的矛盾；但是，如循环神经网络中的长距离以来问题，信息“记忆”能力并不高。 可通过Attention机制只 选择一些关键的信息输入进行处理，来提高神经网
RNN & Attention
s1162276945的博客
03-14 996
RNN http://www.cnblogs.com/taojake-ML/p/6272605.html LSTM 中的图标 Attention http://blog.csdn.net/jdbc/article/details/52948351?locationNum=2&fps=1
5-机器学习进阶-RNN与Attention（1)
qq_15821487的博客
08-11 234
英文的word就是一个单词，character是字母A、B、C。 中文的word是词，character是一个字符 图片通样可转换成字符，把pixel做转换即可 空间上的LSTM 把这个条件转换成向量，输入下雨。 图像转换成向量就是CNN 文本转换成向量就是RNN 就是这么直接简单 encoder和decoder的参数可以一样也可以不一样 输入下游任务的时候，引入注意力机制，把干扰信息过滤 Z0是可以学习训练的 语音可以直接硬train，但是目前还没超过传统机器学习的效果 看图说话的注意力机.
第八课 RNN条件生成与Attention机制
约定的博客
03-01 719
文章目录1 RNN条件生成2 机器翻译3 Attention4 图像生成文本 1 RNN条件生成 RNN可以解决的问题有多种，根据输入输出个数不同分为： 1 一对多：图像描述 2 多对一：文本分类 3 多对多： 实时多对多：输入法、视频解说 输入完成再多对多：机器翻译 条件生成问题：P(y|x) 2 机器翻译 3 Attention 4 图像生成文本 ...
DL&NLP学习笔记 & 2021春招面试——RNN & Attention
Uniqorn的博客
02-24 203
目录Word RepresentationRNNRNN Formulation模型训练过程 Word Representation 词表示分类如下： 语言模型：预测一个词序列的概率 RNN 假设：时间信息很重要 想法：将上一个隐藏层的信息传递给所有上下文；将神经网络的条件设置为所有前面的单词，并在每个时间步上绑定权重； Bi-Gram模型：用前一个词预测下一个词 RNN：用前面所有词预测下一个词 RNN Formulation 激活函数： 模型训练过程 ...
《深度学习进阶-自然语言处理》-【日】斋藤康毅著。个人学习整理简单笔记，欢迎一起学习探讨, 小白一枚，希望寻找小伙伴.zip
02-04
《深度学习进阶-自然语言处理》是日本学者斋藤康毅所著的一本深入探讨自然语言处理（NLP）的书籍，对于那些希望通过深度学习技术理解和解决自然语言问题的人来说，是一本非常有价值的资源。自然语言处理是人工智能...
李宏毅机器学习2021笔记—self-attention（下）
zghnwsc的博客
04-22 737
这里是李宏毅机器学习2021笔记self-attention的下篇。如果没看过上篇，可以先看上篇李宏毅机器学习2020笔记-—self-attention（上）。学习本节内容，需要一定的基础知识储备。 之前我们已经介绍了，怎么根据input的一排a，得到一个b1. 这里需要强调一点，b1到b4，并不需要按顺序。 （这里就不再赘述怎么得到b1了） 这里我们从矩阵乘法的角度再来看一遍b是怎么产生的。 每一个a，都分别要产生不同的q，k，v。 要用矩阵运算表示的话，就是每一个a都要乘上一个wq，这里我们可以把.
Attention 和 Self-Attention 总结
最新发布
安静的软件工程师
03-08 1375
Attention 和 Self-Attention 总结
机器学习学习笔记.zip
05-24
《机器学习学习笔记》资源包包含了多个关于机器学习的PDF文档和一本关于人脸识别的RAR压缩文件，这是一份丰富的学习资料集合，旨在帮助初学者和进阶者深入理解和掌握机器学习这一领域的核心概念和方法。 首先，我们...
【自然语言处理】聊聊曝光误差（Exposure Bias）怎么被解决的
一起来书写我们的青春
08-05 1万+
前言 曝光误差（exposure bias）简单来讲是因为文本生成在训练和推断时的不一致造成的。不一致体现在推断和训练时使用的输入不同，在训练时输入是真实样本，但是在推断时用的却是上一个词的输出。 解决方案 1.使用scheduled-sampling，简单的做法就是在训练阶段使用的输入以p的概率选择真实样本，以1-p的概率选择上一个词的输出。而这个概率p是随着训练次数的增加衰减，可以使用指数函数...
seq2seq中的曝光偏差(exposure bias)现象以及利用REINFORCE算法训练seq2seq模型
xhsun的博客
01-10 1486
mismatch between train and test exposure bias 在训练阶段，我们采用的是teacher forcing （教师指导）方式，也就是在decoder端的当前时间步的输入是上一个时间步的真实标签，而不是模型在上一个时间步的预测值 然而测试阶段，当前时间步的输入是模型上一时间步的预测值，此时没有教师指导。 所谓exposure bias(曝光偏差)，就是因为模型在训练阶段从来没有看过自己的输出，也就是自己的输出从来没有曝光出来，然而测试阶段却始终看到的是自己的输出. 评估
RNN训练详解，通俗易懂
热门推荐
cuipanguo的博客
08-28 1万+
Xt代表输入序列中的第t步元素，例如语句中的一个汉字。一般使用一个one-hot向量来表示，向量的长度是训练所用的汉字的总数（或称之为字典大小），而唯一为1的向量元素代表当前的汉字。 St代表第t步的隐藏状态，其计算公式为St=tanh(U*Xt+W*St-1)。也就是说，当前的隐藏状态由前一个状态和当前输入计算得到。考虑每一步隐藏状态的定义，可以把St视为一块内存，它保存了之前...
积神经网络的参数优化方法——调整网络结构是关键！！！你只需不停增加层，直到测试误差不再减少....
djph26741的博客
03-08 1838
积神经网络(CNN)的参数优化方法 from：http://blog.csdn.net/u010900574/article/details/51992156 著名： 本文是从 Michael Nielsen的电子书Neural Network and Deep Learning的深度学习那一章的卷积神经网络的参数优化方法的一些总结和摘录，并不是我自己的结论和做实...
RNN的一些高级用法-以温度预测问题为例
BoCong-Deng的博客
07-21 6638
RNN的神奇用的人都说话，不过在使用RNN的时候，还是需要知道一些技巧，有利于我们实现更符合预期的模型，本文将会介绍以下三种技巧。循环dropout（recurrent dropout）。这是一种特殊的内置方法，在循环层中使用dropout 来降低过拟合。堆叠循环层（stacking recurrent layers）。这会提高网络的表示能力（代价是更高的计算负 荷）。双向循环层（bidirectional recurrent layer）。将相同的信息以不同的方式呈现给循环网
cnn+rnn+attention
MachineLP的专栏
11-10 8851
下面是单层rnn+attention的代码，若考虑多层rnn请参考博主的：tf.contrib.rnn.static_rnn与tf.nn.dynamic_rnn区别 def attention(inputs, attention_size, time_major=False): if isinstance(inputs, tuple): # In case of Bi-R
对RNN中attention机制的一点理解
qq_41034122的博客
09-02 1038
Computational limitations（计算局限性） 在RNN中，attention的加入到底能解决什么问题呢。就是计算局限性的问题。 计算局限性主要表现在计算机视觉中。比如在目标检测方面，采用滑动窗口模式可以地毯式的提取图片信息，但是成本过高，内存占用很大。 计算局限性目前的解决方式及优缺点 减少分类器窗口数量 很多工作致力于降低滑动窗口模式的成本，具体包括减少那些已经被评估完整...
调研报告｜在线语音识别改进之 RNN-T 训练
q6q6q的专栏
10-27 718
这篇文章主要调研的是另外一种改进在线语音识别的方法：基于 RNN Transducer 方法。当然最近强势的基于 Transformer 的 Encoder-Decoder 在线方法（MoChA-type/local window /triggered attention/Scout Network/Chunk-aware）也是我比较感兴趣的方向，后面会单独拎出来讨论。这篇文章可能文字讲解的地方会...
刨根问底：NLP中的曝光偏差问题的思考
吉米_王
05-25 5054
什么是曝光偏差？ 曝光误差（exposure bias）简单来讲是因为文本生成在训练和推断时的不一致造成的。 不一致体现在推断和训练时使用的输入不同，在训练时每一个词输入都来自真实样本（GroudTruth），但是在推断时当前输入用的却是上一个词的输出。 NLP中的曝光偏差？ 常见的曝光偏差问题出现场景分析？ Transformer在训练阶段有mask而在预测阶段无mask，个人认为此场景存在曝光偏差问题； Teacher forcing场景下也存在曝光偏差问题； Dropout（随机失活）个人认为也
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值