生成式模型 future application

    我们需要生成（Generative models）模型，这样就能从关联输入移动到输出之外，进行半监督分类（semi-supervised classification）、数据操作（semi-supervised classification）、填空（filling in the blank）、图像修复（inpainting）、去噪（denoising）、one-shot生成 [Rezende et al, ICML 2016]、和其它更多的应用。下图展示了生成式模型的进展（注意到纵轴应该是负对数概率）［图片来自Shakir Mohamed的展示］： 
                

    另据2016 ScaledML会议IIya Sutskever的演讲报告“生成模型的近期进展”介绍，生成模型主要有以下功能：

• Structured prediction，结构化预测（例如，输出文本）；
• Much more robust prediction，更鲁棒的预测
• Anomaly detection，异常检测
• Model-based RL，基于模型的增强学习

    生成模型未来推测可以加以应用的领域：

• Really good feature learning, 非常好的特征学习
• Exploration in RL, 在强化学习中的探索
• Inverse RL, 逆向增强学习
• Good dialog that actually works, 真正使用的对话
• “Understanding the world”, “理解世界”
• Transfer learning, 迁移学习