《Hierarchical Recurrent Attention Network for Response Generation》阅读笔记（层次注意力）

最新推荐文章于 2024-04-26 11:40:55 发布
最新推荐文章于 2024-04-26 11:40:55 发布
阅读量1k 收藏 1
点赞数
文章标签： 多轮对话 层次attetion 对话生成
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/kelong1941/article/details/93912881
版权

研究背景

当前工作没有注意到词与话语具有不同的重要性

研究对象

多轮对话

研究例子

模型

建立词级与话语级的注意力，注意箭头方向，生成时既利用了词级有利用了话语级的attetion，话语级是单向的编码原因是越近的对话历史越重要，详细参考https://zhuanlan.zhihu.com/p/61101200

实验

数据处理

分词，删除回复在整个语料库中出现次数超过50次的对话，删除少于3轮或者有句子超过50个词的回复，保留context中4万个高频词作为context词表，response的词表同理

对比实验

S2SA：直接把对话历史级联输入到Seq2seq里

HRED与VHRED：参考https://zhuanlan.zhihu.com/p/33526045

评价指标

用困惑度指导验证集停止训练

没用BLEU，因为对于开放域回复具有多样性不适合，具体参考《How not to evaluate your dialogue system:
An empirical study of unsupervised evaluation metrics for dialogue response generation》


 

greenhand2014
关注
Hierarchical Attention-Based Recurrent Highway Networks for Time Series Prediction论文解读
我沿着陌生人的志向攀登
12-15 1145
论文链接：https://arxiv.org/pdf/1806.00685.pdf Abstract 时间序列的预测问题已经被广泛应用于很多领域，但是给定历史观测和外部变量的预测还是具有挑战性的，现有的方法不能考虑外部变量不同分量之间的相互作用，可能会影响预测精度。本文提出了HRHN模型，该方法结合了时间—空间特征提取和时间特征提取技术。 总结：与之前讲过的DA-RNN比较一下，DA-RNN...
论文阅读笔记 Transfer learning for sequence tagging with hierarchical recurrent networks
Raina_qing的博客
03-26 1070
论文地址https://arxiv.org/abs/1703.06345 论文中的项目代码地址https://github.com/kimiyoung/transfer 本文探讨了神经序列标记器的转移学习问题，其中使用具有丰富注释的源任务（例如，Penn Treebank上的POS标记）来改善具有较少可用注释的目标任务的性能（例如，POS标记为微博）。 1、介绍 有没有办法通过共享模型...
HIERARCHICAL MULTISCALE RECURRENT NEURAL NETWORKS　代码理解
qq_35941018的博客
03-06 587
代码地址(非原作者)：https://github.com/bolducp/hierarchical-rnn
Hierarchical Neural Story Generation分层神经故事生成 阅读
weixin_43867850的博客
08-03 608
abstract 先生成前提，接着转换成文本段落，最终组合成故事 技术: 模型融合以及门控注意力机制 introduction seq2seq容易退化成语言模型，很难关注到故事之间的依赖关系 融合机制，force on 在提示和故事之间的联系 dataset ？对未知的单词标记和文档标记结尾建模，提高词汇量 ！稀有单词和拼写错误非常多 approch summerization: 句子建模 根据高级提示进行条件化(condition on) 分层 提出原因: 语言模型没有结构 方法:1.卷积生成故事前提
HATS: A Hierarchical Graph Attention Network for Stock Movement Prediction
jirox的博客
06-02 918
A Hierarchical Graph Attention Network for Stock Movement Prediction 目前有很多基于深度学习的方法来预测股市未来走向，但是在过往的很多方法中都忽略了公司（Enterprise）之间的关系。在这篇paper中作者提出图神经网络来建立不同公司之间的联系 General framework 在股市中会有很多信息（Raw features）产生，例如：开盘价（Open）、收盘价（Close）、交易量（Vol）。在原文中提到每个公司（Enterpri
”Hierarchical Recurrent Neural Network for Skeleton Based Action Recognition“阅读小结
Mr_pan
05-28 3598
摘要： 人的动作识别能够由骨架关节的轨迹来表示，传统的方法通常利用手工制作的特征模拟人类骨骼的空间结构和时间动态，通过精心设计的分类器识别人类动作。我们提出一个端到端的层次RNN基于骨架的动作识别。HRNN-L模型不是将整个骨骼作为输入，而是根据人类的身体结构将人类的骨骼划分成五个部分，然后分别的划分进五个子网。最后随着层数的增加，前一层特征融合的结果作为更高层的输入。最后骨架序列的表示被送入到
Hierarchical Attention Network for Document Classification阅读笔记
呜呜哈的博客
06-22 1万+
最近看了”Hierarchical Attention Network for Document Classification”一篇文章，也在网上找了一些资料结合理解，发现在此之前有篇文章跟他提出的模型架构基本相似，只不过不包含attention机制：“Document Modeling with Gated Recurrent Neural Network for Sentiment Class
Hierarchical-Attention-Network:“文档分类的分层注意网络”的实现
05-13
运行“ case_study.ipynb”以运行验证集中的一些示例的可视化，包括注意力向量（句子级别和单词级别）和预测结果。 现在，我们在yelp2013测试仪上获得了约65％的准确度。 对超参数进行微调后，它可能会更好。 我们...
多层注意力模型：Hierarchical Attention Networks for Document Classification
热门推荐
qq_24305433的博客
05-29 3万+
1、简介
Hierarchical Attention Networks for Document Classification论文阅读笔记
westbrook_wang的博客
09-24 1353
  Hierarchical Attention Networks for Document Classification （ACL2016）   动机 在分类任务中，句子中包含的每个词语相对于分类任务的重要性并不一样，比如在IMDB影评数据集中， like, amazing, terrible 这样的词语更能够决定句子的情感。一篇document也由多个句子组成，在篇章级别的分类时...
深度探索：机器学习中的层次化RNN（Hierarchical RNN）原理及其应用
最新发布
qq_51320133的博客
04-26 1251
层次化RNN作为一种针对时序数据的深度学习模型，以其独特的分层递归结构，有效解决了传统RNN在处理长距离依赖、大规模时序数据以及具有内在层级结构数据时的局限性。通过与常规RNN、CNN及Transformer等算法的对比，我们可以看到层次化RNN在特定应用场景下展现出的优越性能和泛化能力，特别是在处理文本理解与生成、视频分析与理解、生物信息学等领域的问题时，其层级化的特征提取和递归建模方式提供了独特的优势。
从RNN到LSTM，性能良好的神经网络到底是如何工作的？
weixin_34405925的博客
04-02 185
数十款阿里云产品限时折扣中，赶紧点击这里，领劵开始云上实践吧！ 本次直播视频精彩回顾，戳这里！ 直播涉及到的PPT，戳这里！ 课程主讲简介： 于恒，阿里巴巴机器智能技术实验室技术专家，中科院计算所博士，研究方向是机器翻译，在自然语言处理和人工智能领域顶级国际会议ACL、EMNLP、COLING等发表多篇论文。曾在三星中国研究院和搜狗...
Get To The Point: Summarization with Pointer-Generator Networks
liuyingshudian的博客
11-20 856
seq2seq
Paper Note——经典Polyline类型Map论文损失函数
Irving.Gao的博客
12-11 935
经典Polyline类型Map论文损失函数
对话系统论文集(21)--实验ing
fangting的博客
05-08 466
发力点： GAN中D给出的信息更多 输出约束增强 阅读: cvpr，gan，文本相关文章 Improving Dialogue State Tracking by Discerning the Relevant Context Latent Code and Text-based Generative Adversarial Networks for Soft-text Generati...
官网实例详解4.26（mnist_hierarchical_rnn.py）-keras学习笔记四
wyx100的专栏
06-28 914
 Keras实例目录代码注释 代码执行 Keras详细介绍英文：https://keras.io/中文：http://keras-cn.readthedocs.io/en/latest/实例下载https://github.com/keras-team/kerashttps://github.com/keras-team/keras/tree/master/examples完整项目下载方便没积分童...
[LeetCode] Copy List with Random Pointer
weixin_34318956的博客
07-14 69
Well, since we need to make a deep copy of the list and nodes in the list have arandom pointer that may point to any node in the list (or NULL), we need to maintain a mapping fr...
HIERARCHICAL MULTISCALE RECURRENT NEURAL NETWORKS 论文简介
第二剑~的博客
06-17 867
学习层次和时间表示一直是RNN的长期挑战之一。多尺度RNN一直被认为是能够解决这个问题的一种有效方式，但是缺乏经验证据表明这种方式可以通过发现序列中的潜在层次结构准确地解决时序依赖问题。而这篇论文提出了一种新颖的结构，可以通过使用新颖的更新机制和不同的时间尺度来编码时序依赖解决潜在的层次结构问题，并且没有使用明确的边界信息。 已知深度CNN可以获得空间数据的层次表示，RNN可以获得时序数据时间表...
文本摘要
Jiashilin
08-24 249
方法分类： 抽取式（传统基于统计学的） 相关算法：Text rank排序算法、BM25算法、TFIDF 生成式（Automatic Summarization） seq2seq+attention sequence2sequence 2016year,cnn FAIR encoder &rnn decoder [FAIR ,Facebook AI Res...
semi-supervised hierarchical recurrent graphneural network for city-wide par
11-20
总的来说，semi-supervised hierarchical recurrent graph neural network for city-wide parameters modeling and prediction是一种适用于城市规划和管理的先进技术，可以帮助我们更好地理解和把握城市的发展和变化...
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值