Improving Image Captioning with Conditional Generative Adversarial Nets理解

Chen C , Mu S , Xiao W , et al. Improving Image Captioning with Conditional Generative Adversarial Nets[J]. 2018.

一、前言

图像标注（image captioning）是一门综合计算机视觉和自然语言处理的深度学习研究，相比于图像分类（image classification）、目标检测（object detection）和语义分割（semantic segmentation）等任务，其更复杂，也更具挑战性。

最早，人们基于encoder-decoder提出CNN-RNN结构进行图像标注，其中CNN用作图像表示$I$，RNN用作句子生成$G_{\theta }$，并使用极大似然估计进行训练$J_G(\theta )$，但存在误差累积问题。

J G ( θ ) = 1 N ∑ j = 1 n log ⁡ G θ ( x j ∣ I j ) = 1 N ∑ j = 1 N ∑ t = 1 T j log ⁡ G θ ( x t j ∣ x 1 : t − 1 j , I j ) J_G(\theta) = \frac{1}{N}\sum_{j=1}^{n}\log G_{\theta}(x^j|I^j) = \frac{1}{N}\sum_{j=1}^N\sum_{t=1}^{T_j}\log G_{