Little Garden

详解注意力（Attention）机制​ 注意力机制在使用encoder-decoder结构进行神经机器翻译（NMT）的过程中被提出来，并且迅速的被应用到相似的任务上，比如根据图片生成一段描述性语句、梗概一段文字的内容。从一个高的层次看，允许decoder从多个上下文向量（context vector）中选取需要的部分，使得Encoder只能将上下文信息压缩到固定长度的向量中这个束缚中解放出来，进...

word2vector——skip-gram​ 谷歌2013年提出的word2vector是目前最常用的词嵌入模型之一。Word2Vector实际上是一种浅层的神经网络模型，它有两种网络结构，分别时CBOW（Continues Bag of Words）和Skip-gram，这篇文章主要是介绍Skip-gram。​ Skip-gram的主要目标是根据当前词来预测上下文中各个词的生成概率。比如说...

论文：Get To The Point: Summarization with Pointer-Generator Networks解读Abstract类型的文本摘要存在的问题：容易产生不准确的事实；倾向于重复相同的内容。注：如上面所示，作为基线的seq2seq+Attention这样的纯粹的生成式模型存在1.无法生成OOV词汇；2.歪曲事实两个问题。Pointer Generato...

Google Brain-The Evolved Transformer论文创新点：​ 使用神经架构搜索的方法，为 seq2seq 任务找到了一种比Transformer更好的前馈网络架构。架构搜索是基于Transformer进行演进，最终得到的Evolved Transformer 的新架构在四个成熟的语言任务（WMT 2014 英德、WMT 2014 英法、WMT 2014 英捷及十亿...

心理学研究表明，快乐和有意义的谈话常常是相伴而生的。因此，在社交媒体时代，越来越多的人被数字化连接，社交聊天机器人已成为一种重要的互动方式，这并不令人意外。与早期的聊天机器人不同，小冰是一款社交聊天机器人，旨在满足用户的沟通、情感和社交归属感需求，并具有同理心、个性和技能，集情商和智商于一身，以预期的CPS为衡量标准，优化用户的长期参与度。小冰的整体结构包括三部分：用户体验层、对话引擎层和数据层...

论文：Image Inspired Poetry Generation in XiaoIce解读论文内容​ 这篇论文介绍了微软小冰从一张图片生成一首现代诗的过程模型。简单来说，这个过程就是给定一个图像，首先从图像中提取几个表示对象和感知到的情感的关键字，然后根据这些关键词与人类诗歌的关联，将它们扩展到相关的新的关键词，接着每个关键词作为每行诗的核心，使用双向语言模型逐步向左右拓展生成整句。这个...

如何让机器自动生成音乐。一段音乐包括多个音轨，比如吉他、鼓点、贝斯、人生等，这些音轨如何编排使音乐整体和谐是一个比较大的挑战。另外，影响歌曲质量的和弦进行和节奏模式这两个关键因素,如何将它们引入到音乐生成过程同样需要研究。论文提出了一种端到端的旋律与编排生成的框架——小冰Band，它能够生成一段包含若干乐器伴奏的旋律。具体来说，论文提出了Chord based Rhythm and Melody ...

解决的问题Transformer的自注意力机制可以让长距离的单词直接联系，可以很容易地学习到句子之间的长距离依赖。但是在将Transformer应用在语言模型时，核心的问题在于如何将任意长度的context编码成固定长度的上下文变量。普遍的做法是将整个语料库划分成较短的片段，在每个片段上训练模型。但是这么做很有几个问题：最大可能依赖长度不会超过片段的长度语料库按照固定长度而不是按照语义或...