Datawhale X 魔搭 AI夏令营--多模态大模型Task1

1.赛题介绍
本次任务：天池Better Synth多模态大模型数据合成挑战赛。

在当下大数据、大模型时代，大数据是驱动大模型的能源。当前大模型的训练数据绝大部分来源于互联网上的信息，但随着大模型尺寸与性能逐渐提升，互联网上的海量数据也将逐渐使用殆尽，并且对于多模态大模型来说，这些海量资源在获取后，也需要极大的额外处理和人力标注才可以达到可用于训练大模型的水准。因此，如何借助已有的强大的大模型，在有限的计算资源下为新的模型训练流程高效合成优质的训练数据成为了一个新兴的值得关注的问题。“Better Synth”是 Data-Juicer for LLMs 系列赛的第四场比赛，不仅为数据工程师和机器学习专家提供了展示能力的舞台，更是引领多模态大模型的开源共享发展。

2.相关知识点
多模态大模型是指能够处理多种类型数据（如文本、图像、音频等）的大型预训练模型。这些模型通常使用深度学习技术构建，并在大量的多模态数据上进行训练，以便它们能够理解和生成跨不同模式的内容。

数据处理：数据收集、数据清洗、数据预处理。

模型训练：选择模型架构、超参数调整、监控训练过程。

3.baseline指南
这次的赛题比较难，划分为时间很长，跑一趟完整的训练需要4小时，试错成本很高。需要的资源比较多，环境配置比较容易出问题。

温馨提示：由于baseline运行需求，我们需要

额外扩充磁盘空间，至少需要增加50G，需0.1元每小时，

在后面的模型训练和评测阶段，需要跑大概3小时，至少需要100G+以上的内存，需要至少购置阿里云188G内存的GPU规格，大概需要15元每小时。

4.baseline流程：

首先我们下载各种库和数据：

git clone https://www.modelscope.cn/datasets/Datawhale/better_synth_challenge_baseline.git

下载多模态base模型及数据集 & 相关依赖软件：

安装必要工具

apt update
apt install axel zip file
pip install modelscope

下载模型和相关数据集

下载BLIP图片描述模型

python download_blip.py
 
# 如果是在autoDL上，需要修改download_blip.py文件，将下载路径对应修改为
# cache_dir='/root/autodl-tmp/better_synth_challenge_baseline/models'

 这里需要先修改实例配置，修改为188G内存的GPU规格（费钱，大概15块一小时）

先关闭实例

按照对应规格

然后确定、启动即可

然后运行如下代码进行数据处理与合成：

dj-process --config solution/image_captioning.yaml

执行模型训练 & 推理测评：

cd better_synth_challenge_baseline/toolkit
git clone https://github.com/modelscope/data-juicer.git
bash train_mgm_2b_stage_1.sh   ### 大概需要3小时

打包构建符合提交要求的zip文件：

better_synth_root_dir=/mnt/workspace/
 
cd submit
 
cp -r ${better_synth_root_dir}/better_synth_challenge_baseline/solution .
 
cp -r ${better_synth_root_dir}/better_synth_challenge_baseline/output/eval_results output/
 
cp -r ${better_synth_root_dir}/better_synth_challenge_baseline/output/train.sh output/
 
cp ${better_synth_root_dir}/better_synth_challenge_baseline/output/training_dirs/MGM-2B-Finetune-*/finetuning.log output/training_dirs/MGM-2B-Finetune-image_recaption/
 
cp ${better_synth_root_dir}/better_synth_challenge_baseline/output/training_dirs/MGM-2B-Pretrain-*/pretrain.log output/training_dirs/MGM-2B-Pretrain-image_recaption/
 
zip -r submit.zip solution output