ClipCap: CLIP Prefix for Image Captioning
前言
本文主要目的是学习这篇paper,以及纪录相关的代码学习过程
论文:https://arxiv.org/abs/2111.09734
Github:
https://github.com/rmokady/CLIP_prefix_caption
https://github.com/yangjianxin1/ClipCap-Chinese
参考链接:
ClipCap:让计算机学会看图说话
一、原理
ClipCap提出一种基于Mapping Network的Encoder-Decoder模型,其中Mapping Network扮演了图像空间与文本之间的桥梁。模型主要分为三部分:
- Image Encoder : Clip编码图像,得到clip embedding
- Mapping Network: 将图片向量clip_embed映射到文本空间中,得到一个文本提示向量序列prefix_embedding
- Text Encoder:采用GPT2模型,根据提示向量序列prefix_embeds, 生成caption
有点像UNILM
二、 方法
给定x_i, 得到c_i,最大化(1)的序列概率。(2)是GPT2那部分的求解目标
最后的loss是交叉熵损失,整个模型比较简单。
Mapping Network 有两种:MLP or Transformer
1.4 实验
数据集:
- COCO-captions
- nocaps
- Conceptual Captions
Image Caption 2021最新整理:数据集 / 文献 / 代码
这个博客详细介绍了相关数据集的基本情况
扩展该方向的创新点 - 曝光偏差问题
- 物体对应问题
- 效果问题
三、运行记录
3.1 准备
- 数据
官网:http://hockenmaier.cs.illinois.edu/DenotationGraph/
填写表单,然后下载:
1、flickr30k.tar:压缩后是名为results_20130124.token的图片标注文件
2、flickr30k-images:共计约31783张照片
- 模型权重
Clip的权重
_MODELS = {
"RN50": "https://openaipublic.azureedge.net/clip/models/afeb0e10f9e5a86da6080e35cf09123aca3b358a0c3e3b6c78a7b63bc04b6762/RN50.pt",
"RN101": "https://openaipublic.azureedge.net/clip/models/8fa8567bab74a42d41c5915025a8e4538c3bdbe8804a470a72f30b0d94fab599/RN101.pt",
"RN50x4": "https://openaipublic.azureedge.net/clip/models/7e526bd135e493cef0776de27d5f42653e6b4c8bf9e0f653bb11773263205fdd/RN50x4.pt",
"RN50x16": "https://openaipublic.azureedge.net/clip/models/52378b407f34354e150460fe41077663dd5b39c54cd0bfd2b27167a4a06ec9aa/RN50x16.pt",
"RN50x64": "https://openaipublic.azureedge.net/clip/models/be1cfb55d75a9666199fb2206c106743da0f6468c9d327f3e0d0a543a9919d9c/RN50x64.pt",
"ViT-B/32": "https://openaipublic.azureedge.net/clip/models/40d365715913c9da98579312b702a82c18be219cc2a73407c4526f58eba950af/ViT-B-32.pt",
"ViT-B/16": "https://openaipublic.azureedge.net/clip/models/5806e77cd80f8b59890b7e101eabd078d9fb84e6937f9e85e4ecb61988df416f/ViT-B-16.pt",
"ViT-L/14": "https://openaipublic.azureedge.net/clip/models/b8cca3fd41ae0c99ba7e8951adf17d267cdb84cd88be6f7c2e0eca1737a03836/ViT-L-14.pt",
}
GPT2 中文模型
https://github.com/Morizeyao/GPT2-Chinese gpt2通用中文模型
3.2 模型训练
python train.py \
--data_path datasets/clip_caption.pkl \
--gpt2_path pretrain_models/gpt2 \
--bert_path pretrain_models/bert \
--output_path output/finetune \
--lr 2e-5 \
--epochs 40 \
--prefix_len 10 \
--constant_len 10 \
--clip_size 512 \
--bs_train 40 \
--dev_size 1000 \
--bs_eval 128 \
--max_len 100 \
--warmup_steps 5000 \
--save_step 1000 \
--eval_step 500 \
--finetune_gpt2 \
--mapping_type mlp \
--do_train
蓝色:bert no finetune + gpt2
黑色:mlp finetune + gpt2
MLP的loss下降更快,也更低
BERT的loss下降慢,收敛的不好
因为:黑色是,MLP和GPT2是一起微调的,蓝色是只微调BERT,训练难度更大,GPT2是固定的。
对topk和topp的理解:
语言生成:搜索 or 采样,that is the question
总结:
Flickr30中文caption数据是由机器翻译获得的,质量上存在缺陷,后续可以考虑使用更加高质量的数据进行模型训练。并且根据训练过程分析可以知道,由于训练数据量较小,模型存在过拟合的风险,后续可以考虑使用更高量级的数据进行训练,相信能够获得更好的效果。
- 更高质量的数据集
- CLIP模型可以考虑换成中文的Chinese-CLIP模型,对中文的感知能力强点
- Mapping Network在小的数据集上MLP比较优秀, 也比较轻量化
- 文本生成部分,可以尝试GPT2更强的作为baseline来进行
- 论文中采用topk, topp的采样,可以尝试其他语言模型采样的方法: A Contrastive Framework for Neural Text Generation