基于注意力机制的文本生成:Image-to-text=-with-Visual-Attention
训练过程:ai_challenage
ai_challenage的训练集有3w张,我只在前30000张训练图像上训练了这个模型。最后一层的特征提取VGG需要大约15GB的内存。训练过程中数据集被分成大小为64的批。一个epoch大约需要100秒。我训练了它大约20个周期,一次约一小时左右训练完成。
训练结果:
coco数据集:
ai_challenage数据集
ai_challenage数据集选择了3w张,跑了2个小时左右,最后损失值大概0.6.
- 大厅里一个戴着墨镜的女人走在大厅里,可以看出解码端有问题。
- 女人,墨镜这样的实体词汇,关注度较好。的,里这样的抽象词语关注度不足。
下周工作计划:
1.加入评价指标
2.阅读论文,找到解决抽象词attention关注度不足的解决方法。