Datawhale AI 夏令营 多模态 Task1

学习目标：

赛题：天池Better Synth多模态大模型数据合成挑战赛
赛题链接：https://tianchi.aliyun.com/s/46544cccd6a0744b9c43d58cb6d97dee

此次学习目标旨在了解高质量的数据对于多模态大模型能力的提升。利用赛事方提供的种子数据集，以及数据合成处理平台Data-juicer来进行数据合成与分析。

结果评估：利用TextVQA和MMBench作为测试集，综合两者得分取均值作为最终得分。

学习内容：

1.环境配置
采用ModelScope和阿里云PAI-DSW交互式建模平台，采用单卡A10，24G显存，188G内存，以及扩容系统盘到150G内存进行训练。

2.baseline
跟随DataWhale学习笔记进行，由于每个人机器不同，环境配置过程不同，第一天出现很多问题，例如本人在第一天跑baseline时，跳过了步骤三（下载BLIP图片描述模型），即缺少了输入，就进入了数据合成与模型训练环节，浪费不少时间。

# 步骤三（下载BLIP图片描述模型）
python download_blip.py

现在DataWhale学习笔记已然完善，可直接跟随学习笔记跑通baseline，只需注意根据自身环境对train_mgm_2b_stage_1.sh文件中PRETRAIN_BATCH_SIZE_PER_GPU，PRETRAIN_GRADIENT_ACCUMULATION_STEPS和FINETUNE_BATCH_SIZE_PER_GPU，FINETUNE_GRADIENT_ACCUMULATION_STEPS选择合适大小进行更改。若存在多卡，也可进行相关调整。

# training args
# pretraining
# make sure PRETRAIN_BATCH_SIZE_PER_GPU * PRETRAIN_GRADIENT_ACCUMULATION_STEPS * num_gpus = 256
# **NOTICE**: the default setting is for 1 GPU
PRETRAIN_BATCH_SIZE_PER_GPU=2
PRETRAIN_GRADIENT_ACCUMULATION_STEPS=128
PRETRAIN_DATALOADER_NUM_WORKERS=4
# finetuning
# make sure FINETUNE_BATCH_SIZE_PER_GPU * FINETUNE_GRADIENT_ACCUMULATION_STEPS * num_gpus = 128
# **NOTICE**: the default setting is for 1 GPU
FINETUNE_BATCH_SIZE_PER_GPU=2
FINETUNE_GRADIENT_ACCUMULATION_STEPS=64
FINETUNE_DATALOADER_NUM_WORKERS=4

学习时间：

当前是任务的Task1，花费一天时间完成环境配置和baseline的跑通。
后续该任务还有Task2，Task3，任务目的是了解Data-juicer的工作原理以及流程，了解多模态大模型Mini-Gemini的各个模块模型并在baseline基础上进行改进和调整，以期在评估TextVQA和MMBench上得到更高的分数。

学习感悟：

这是本人第一次尝试完成多模态大模型的相关任务，任务过程相较于之前大模型微调，大模型RAG，提示词等有不小的挑战，无论是环境的配置还是baseline的完成，都有一定难度，希望后续任务能够继续加油，圆满完成该项目。