论文解读
盐味橙汁
这个作者很懒,什么都没留下…
展开
-
论文:Get To The Point Summarization with Pointer-Generator Networks解读
论文:Get To The Point: Summarization with Pointer-Generator Networks解读Abstract类型的文本摘要存在的问题:容易产生不准确的事实;倾向于重复相同的内容。注:如上面所示,作为基线的seq2seq+Attention这样的纯粹的生成式模型存在1.无法生成OOV词汇;2.歪曲事实两个问题。Pointer Generato...原创 2019-04-04 16:05:07 · 989 阅读 · 0 评论 -
小冰聊天机制综述
心理学研究表明,快乐和有意义的谈话常常是相伴而生的。因此,在社交媒体时代,越来越多的人被数字化连接,社交聊天机器人已成为一种重要的互动方式,这并不令人意外。与早期的聊天机器人不同,小冰是一款社交聊天机器人,旨在满足用户的沟通、情感和社交归属感需求,并具有同理心、个性和技能,集情商和智商于一身,以预期的CPS为衡量标准,优化用户的长期参与度。小冰的整体结构包括三部分:用户体验层、对话引擎层和数据层...原创 2019-04-27 00:34:18 · 2011 阅读 · 0 评论 -
小冰创作诗歌机制详解
论文:Image Inspired Poetry Generation in XiaoIce解读论文内容 这篇论文介绍了微软小冰从一张图片生成一首现代诗的过程模型。简单来说,这个过程就是给定一个图像,首先从图像中提取几个表示对象和感知到的情感的关键字,然后根据这些关键词与人类诗歌的关联,将它们扩展到相关的新的关键词,接着每个关键词作为每行诗的核心,使用双向语言模型逐步向左右拓展生成整句。这个...原创 2019-04-18 17:36:49 · 2814 阅读 · 0 评论 -
小冰创作歌曲的机制
如何让机器自动生成音乐。一段音乐包括多个音轨,比如吉他、鼓点、贝斯、人生等,这些音轨如何编排使音乐整体和谐是一个比较大的挑战。另外,影响歌曲质量的和弦进行和节奏模式这两个关键因素,如何将它们引入到音乐生成过程同样需要研究。论文提出了一种端到端的旋律与编排生成的框架——小冰Band,它能够生成一段包含若干乐器伴奏的旋律。具体来说,论文提出了Chord based Rhythm and Melody ...原创 2019-05-01 13:39:48 · 653 阅读 · 2 评论 -
Transformer-XL:超长上下文依赖
解决的问题Transformer的自注意力机制可以让长距离的单词直接联系,可以很容易地学习到句子之间的长距离依赖。但是在将Transformer应用在语言模型时,核心的问题在于如何将任意长度的context编码成固定长度的上下文变量。普遍的做法是将整个语料库划分成较短的片段,在每个片段上训练模型。但是这么做很有几个问题:最大可能依赖长度不会超过片段的长度语料库按照固定长度而不是按照语义或...原创 2019-07-07 05:51:37 · 2660 阅读 · 0 评论