图像描述（image caption）2018 NIPS论文总结

图像描述（image caption）2018 NIPS论文总结

1. Partially-Supervised Image Captioning

这篇文章是半监督来训练image caption的任务，因为image caption的数据集相对图像分类、目标检测等的数据集小的多，限制了image caption模型的泛化应用性。因此，本文考虑不使用传统的image caption数据集，仅仅使用image的label和object来生成图像的描述。模型简称PS3。
模型overview如下：

因为只有image的label和object数据，因此本文使用FSA（有限状态自动机）来表示句子的结构，再使用CBS（条件beam search）来找到概率最大最有可能是caption的句子。再使用得到的caption和image使用传统的image caption模型来训练。
具体使用FSA来表示句子的结构如图：

其中在c中，D为可能的单词的集合。
最终用A来表示可能的句子，再使用极大似然估计来估计最终的句子，作为输入image对应的caption。
文章使用的image caption是2018 CVPR的up-down模型，用上述的image-caption对来训练模型。
迭代训练这两步，得到最终完整的训练好的模型。
在实验阶段，这个PS3框架