关注
分享
文章平均质量分 77
本专栏主要为了记录自己学习自然语言处理的过程，这里面会介绍一些NLP的基本算法，同时也会关注NLP领域顶会的论文并作一些最新技术的学习分享。
盐味橙汁
这个作者很懒，什么都没留下…
展开
-
Transformer-XL：超长上下文依赖
解决的问题Transformer的自注意力机制可以让长距离的单词直接联系，可以很容易地学习到句子之间的长距离依赖。但是在将Transformer应用在语言模型时，核心的问题在于如何将任意长度的context编码成固定长度的上下文变量。普遍的做法是将整个语料库划分成较短的片段，在每个片段上训练模型。但是这么做很有几个问题：最大可能依赖长度不会超过片段的长度语料库按照固定长度而不是按照语义或...原创 2019-07-07 05:51:37 · 2623 阅读 · 0 评论 -
小冰创作诗歌机制详解
论文：Image Inspired Poetry Generation in XiaoIce解读论文内容 这篇论文介绍了微软小冰从一张图片生成一首现代诗的过程模型。简单来说，这个过程就是给定一个图像，首先从图像中提取几个表示对象和感知到的情感的关键字，然后根据这些关键词与人类诗歌的关联，将它们扩展到相关的新的关键词，接着每个关键词作为每行诗的核心，使用双向语言模型逐步向左右拓展生成整句。这个...原创 2019-04-18 17:36:49 · 2751 阅读 · 0 评论 -
小冰创作歌曲的机制
如何让机器自动生成音乐。一段音乐包括多个音轨，比如吉他、鼓点、贝斯、人生等，这些音轨如何编排使音乐整体和谐是一个比较大的挑战。另外，影响歌曲质量的和弦进行和节奏模式这两个关键因素,如何将它们引入到音乐生成过程同样需要研究。论文提出了一种端到端的旋律与编排生成的框架——小冰Band，它能够生成一段包含若干乐器伴奏的旋律。具体来说，论文提出了Chord based Rhythm and Melody ...原创 2019-05-01 13:39:48 · 631 阅读 · 2 评论 -
小冰聊天机制综述
心理学研究表明，快乐和有意义的谈话常常是相伴而生的。因此，在社交媒体时代，越来越多的人被数字化连接，社交聊天机器人已成为一种重要的互动方式，这并不令人意外。与早期的聊天机器人不同，小冰是一款社交聊天机器人，旨在满足用户的沟通、情感和社交归属感需求，并具有同理心、个性和技能，集情商和智商于一身，以预期的CPS为衡量标准，优化用户的长期参与度。小冰的整体结构包括三部分：用户体验层、对话引擎层和数据层...原创 2019-04-27 00:34:18 · 1967 阅读 · 0 评论 -
详解注意力机制（Attention）——Global/Local/Self Attention
详解注意力（Attention）机制 注意力机制在使用encoder-decoder结构进行神经机器翻译（NMT）的过程中被提出来，并且迅速的被应用到相似的任务上，比如根据图片生成一段描述性语句、梗概一段文字的内容。从一个高的层次看，允许decoder从多个上下文向量（context vector）中选取需要的部分，使得Encoder只能将上下文信息压缩到固定长度的向量中这个束缚中解放出来，进...原创 2018-10-25 21:13:28 · 29558 阅读 · 0 评论 -
Word2Vector之详解Skip-gram
word2vector——skip-gram 谷歌2013年提出的word2vector是目前最常用的词嵌入模型之一。Word2Vector实际上是一种浅层的神经网络模型，它有两种网络结构，分别时CBOW（Continues Bag of Words）和Skip-gram，这篇文章主要是介绍Skip-gram。 Skip-gram的主要目标是根据当前词来预测上下文中各个词的生成概率。比如说...原创 2018-11-05 12:21:29 · 2592 阅读 · 1 评论