Neural Storyteller

20180829
参考：https://www.nowcoder.com/courses/190/1/30

Neural Storyteller

Neural Storyteller是一个有趣的机器视觉项目，观察一张数字图片，然后尝试基于它看到的东西，想象出一个简短的爱情故事。

Somatic公司Jason Toy将其集成到了模型市场。

第一步：把图片作为输入提供给神经网络，在输出层产生描述这张图片的一些语句。
这些图像文字说明的训练数据是从MSCOCO数据库得来的。
我们需要一种能够产生故事的机制，故事能够由图片中的每个元素发散出去。

第二步：开发一个skip-thought模型，以爱情故事的方式产生文本。类似于skip-gram模型，使用了一个目标词来预测周边的单词，这些单词也叫做上下文（context）。

skip-thought模型对于给定的语句（thought）可以预测它周边的文本。

Neural Stroyteller的爱情故事预料是从BookCorpus获得的。通常，图像的文字说明语料和爱情故事语料风格不一致=>文字模式不一样。

第三步：通过建立一个能够把一种风格转换成另一种风格的模型，来把这两种语言风格连接起来。

demo

Somatic

• 把预先构建好的深度学习模型开放
• Somatic有自己的引擎，让你能够构建自己的模型，或对已有的模型比如Neural Storyteller进行定制化。通过API访问模型，提供了大多数主流编程语言的库，或者可以使用网页直接上传到网站上。