【论文笔记】Show and Tell: Lesson learned from the 2015 MSCOCO Image Captioning Challenge

AK在其开源的neuraltalk和neuraltalk2项目中和此模型进行比较其相似之处，并承认说“but the Google release should work significantly better as a result of better CNN, some tricks, and more careful engineering.“那今天就以此出发，比较一下NIC(Neural Image Caption)模型有什么好的。
项目代码：im2txt。

总体来看，二者并无很大差异，都是end to end，CNN提取特镇，RNN生成语句。而区别都体现在细微之处：

1、NIC从sequence to sequence的machine translation方法中学来了一个洋气的名字叫encoder-decoder模型，encoder是CNN，decoder是RNN。重点在于，这里用的CNN和RNN都和NeuralTalk有很大不同。NIC模型使用了更好的feature extractor–GoogLenet(2015),BatchNorm(2016), 使得获得的图像信息更丰富了；使用了更复杂的LSTM，并在2016年增加了层数和cell数，使得decoder更复杂了，也取得了更好的效果。

2、feature输入方式。NeuralTalk中提取完特征将其作为bias结合其他输入一起，直接输入到了RNN的第一个cell中，感觉有些草率；而NIC将第一个时刻完全留给了feature输入，并不做预测，有种预热的意思。文中还提到，作者经验证实了每次都输入图片不好，所以只在开始输入了一次。