学习目标:
赛题:天池Better Synth多模态大模型数据合成挑战赛
赛题链接:https://tianchi.aliyun.com/s/46544cccd6a0744b9c43d58cb6d97dee
此次学习目标旨在了解高质量的数据对于多模态大模型能力的提升。利用赛事方提供的种子数据集,以及数据合成处理平台Data-juicer来进行数据合成与分析。
结果评估:利用TextVQA和MMBench作为测试集,综合两者得分取均值作为最终得分。
学习内容:
1.环境配置
采用ModelScope和阿里云PAI-DSW交互式建模平台,采用单卡A10,24G显存,188G内存,以及扩容系统盘到150G内存进行训练。
2.baseline
跟随DataWhale学习笔记进行,由于每个人机器不同,环境配置过程不同,第一天出现很多问题,例如本人在第一天跑baseline时,跳过了步骤三(下载BLIP图片描述模型),即缺少了输入,就进入了数据合成与模型训练环节,浪费不少时间。
# 步骤三(下载BLIP图片描述模型)
python download_blip.py
现在DataWhale学习笔记已然完善,可直接跟随学习笔记跑通baseline,只需注意根据自身环境对train_mgm_2b_stage_1.sh文件中PRETRAIN_BATCH_SIZE_PER_GPU,PRETRAIN_GRADIENT_ACCUMULATION_STEPS和FINETUNE_BATCH_SIZE_PER_GPU,FINETUNE_GRADIENT_ACCUMULATION_STEPS选择合适大小进行更改。若存在多卡,也可进行相关调整。
# training args
# pretraining
# make sure PRETRAIN_BATCH_SIZE_PER_GPU * PRETRAIN_GRADIENT_ACCUMULATION_STEPS * num_gpus = 256
# **NOTICE**: the default setting is for 1 GPU
PRETRAIN_BATCH_SIZE_PER_GPU=2
PRETRAIN_GRADIENT_ACCUMULATION_STEPS=128
PRETRAIN_DATALOADER_NUM_WORKERS=4
# finetuning
# make sure FINETUNE_BATCH_SIZE_PER_GPU * FINETUNE_GRADIENT_ACCUMULATION_STEPS * num_gpus = 128
# **NOTICE**: the default setting is for 1 GPU
FINETUNE_BATCH_SIZE_PER_GPU=2
FINETUNE_GRADIENT_ACCUMULATION_STEPS=64
FINETUNE_DATALOADER_NUM_WORKERS=4
学习时间:
当前是任务的Task1,花费一天时间完成环境配置和baseline的跑通。
后续该任务还有Task2,Task3,任务目的是了解Data-juicer的工作原理以及流程,了解多模态大模型Mini-Gemini的各个模块模型并在baseline基础上进行改进和调整,以期在评估TextVQA和MMBench上得到更高的分数。
学习感悟:
这是本人第一次尝试完成多模态大模型的相关任务,任务过程相较于之前大模型微调,大模型RAG,提示词等有不小的挑战,无论是环境的配置还是baseline的完成,都有一定难度,希望后续任务能够继续加油,圆满完成该项目。