小冰创作诗歌机制详解

论文内容

​ 这篇论文介绍了微软小冰从一张图片生成一首现代诗的过程模型。简单来说，这个过程就是给定一个图像，首先从图像中提取几个表示对象和感知到的情感的关键字，然后根据这些关键词与人类诗歌的关联，将它们扩展到相关的新的关键词，接着每个关键词作为每行诗的核心，使用双向语言模型逐步向左右拓展生成整句。这个过程模仿人类由景生情创造诗歌的过程。设计的网络能够很大程度的保证句子之间的流畅性、整体性和与图片的匹配性；使用关键字扩展的机制使得生成的诗歌具有多样性和想象力。

模型简介

​ 生成现代诗比生成古代诗难度更大，因为现代诗的题材限制少，可发挥的空间更大，对想象力和创造力的要求更高。由图片出发生成现代诗的是一个有趣的任务，不同人看一幅画的感受不同，而且对图+诗的感受也是不同。以往许多诗歌创作的方法主要是给定关键字，生成包含或者关键字相关的句子，拼接起来。从图片进行诗歌生成的优点：图片包含丰富的信息，因此发挥想象力的空间更多；对图片的解读因人而异，因此由图片生成的诗歌给人的惊喜或者印象往往更加深刻；对于用户来说，上传一张自己感兴趣的图片远比思考关键词要来的简单。首先从图片中解析出实体和情感词组成关键字集合；然后对关键字集合进行过滤和扩充；最后每一个关键字都被作为一行诗的seed，使用双向的文本生成方法生成整行诗；一个层次网络能够检测出没有通过词间和句子之间流畅度检验的诗句，删除并且重新生成直到通过检验。

模型细节

问题定义

​ 把图片记为$queryQ$，目标是生成现代诗$P=<$