Datawhale AI夏令营 第四期 多模态大模型数据合成 Task1：basline

最新推荐文章于 2024-08-22 07:51:42 发布
最新推荐文章于 2024-08-22 07:51:42 发布
阅读量360 收藏 4
点赞数 5
文章标签： 人工智能 ai python
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/iAdonis/article/details/141232701
版权

推理脚本解读

#!/bin/bash
############################################################################
########################### Editable Part Begins ###########################
############################################################################

# exp meta information
EXP_NAME=default
PRETRAIN_DATASET=../output/image_captioning_output/res_10k.jsonl
PRETRAIN_DATASET_IMAGE_PATH=../input/pretrain_stage_1_10k

# training args
# pretraining
# make sure PRETRAIN_BATCH_SIZE_PER_GPU * PRETRAIN_GRADIENT_ACCUMULATION_STEPS * num_gpus = 256
# **NOTICE**: the default setting is for 1 GPU
PRETRAIN_BATCH_SIZE_PER_GPU=2
PRETRAIN_GRADIENT_ACCUMULATION_STEPS=128
PRETRAIN_DATALOADER_NUM_WORKERS=4
# finetuning
# make sure FINETUNE_BATCH_SIZE_PER_GPU * FINETUNE_GRADIENT_ACCUMULATION_STEPS * num_gpus = 128
# **NOTICE**: the default setting is for 1 GPU
FINETUNE_BATCH_SIZE_PER_GPU=2
FINETUNE_GRADIENT_ACCUMULATION_STEPS=64
FINETUNE_DATALOADER_NUM_WORKERS=4
# log and ckpt
LOGGING_STEP=1
CKPT_SAVE_STEPS=100
TOTAL_SAVE_CKPT_LIMIT=1

# inference args
# inference for some benchmarks supports multi-gpus
INFER_CUDA_IDX="0"
############################################################################
############################ Editable Part Ends ############################
############################################################################
SCRIPT_DIR=$(cd "$(dirname "$0")" && pwd)

ORIGINAL_DATASET_ALL=$SCRIPT_DIR/../input/pretrain_stage_1_10k/stage_1.json

# check the global size
PRETRAIN_PASS=`python $SCRIPT_DIR/training/preprocess/check_global_batch_size.py $PRETRAIN_BATCH_SIZE_PER_GPU $PRETRAIN_GRADIENT_ACCUMULATION_STEPS 256`
if [ "$PRETRAIN_PASS" = "False" ]; then
    echo "[ERROR] The global batch size of pretraining stage is not 256! Please check and retry."
    exit
fi
FINETUNE_PASS=`python $SCRIPT_DIR/training/preprocess/check_global_batch_size.py $FINETUNE_BATCH_SIZE_PER_GPU $FINETUNE_GRADIENT_ACCUMULATION_STEPS 128`
if [ "$FINETUNE_PASS" = "False" ]; then
    echo "[ERROR] The global batch size of finetuning stage is not 128! Please check and retry."
    exit
fi

# check number of dataset samples
MAX_SAMPLE_NUM=200000
SAMPLED_PRETRAIN_DATASET=$PRETRAIN_DATASET-200k.jsonl
python $SCRIPT_DIR/training/preprocess/check_sample_number.py $PRETRAIN_DATASET $SAMPLED_PRETRAIN_DATASET $MAX_SAMPLE_NUM

# convert dataset from dj format to llava format
PRETRAIN_DATASET_JSON=$SAMPLED_PRETRAIN_DATASET.json
python $SCRIPT_DIR/data-juicer/tools/multimodal/data_juicer_format_to_target_format/dj_to_llava.py $SAMPLED_PRETRAIN_DATASET $PRETRAIN_DATASET_JSON --image_special_token "<__dj__image>" --restore_questions True --original_llava_ds_path $ORIGINAL_DATASET_ALL

# train model
PRETRAIN_NAME=MGM-2B-Pretrain-$EXP_NAME
FINETUNE_NAME=MGM-2B-Finetune-$EXP_NAME
AUX_SIZE=768

NUM_TRAIN_EPOCHS=1
PRETRAIN_SAMPLE_NUM=200000

mkdir -p $SCRIPT_DIR/../output/training_dirs/$PRETRAIN_NAME

deepspeed $SCRIPT_DIR/training/mgm/train/train_mem.py \
    --deepspeed $SCRIPT_DIR/training/scripts/zero2_offload.json \
    --model_name_or_path $SCRIPT_DIR/training/model_zoo/LLM/gemma/gemma-2b-it \
    --version gemma \
    --data_path $PRETRAIN_DATASET_JSON \
    --image_folder $PRETRAIN_DATASET_IMAGE_PATH \
    --vision_tower $SCRIPT_DIR/training/model_zoo/OpenAI/clip-vit-large-patch14-336 \
    --vision_tower_aux $SCRIPT_DIR/training/model_zoo/OpenAI/openclip-convnext-large-d-320-laion2B-s29B-b131K-ft-soup \
    --mm_projector_type mlp2x_gelu \
    --tune_mm_mlp_adapter True \
    --mm_vision_select_layer -2 \
    --mm_use_im_start_end False \
    --mm_use_im_patch_token False \
    --image_size_aux $AUX_SIZE \
    --bf16 True \
    --output_dir $SCRIPT_DIR/../output/training_dirs/$PRETRAIN_NAME \
    --num_train_epochs $NUM_TRAIN_EPOCHS \
    --per_device_train_batch_size $PRETRAIN_BATCH_SIZE_PER_GPU \
    --per_device_eval_batch_size 4 \
    --gradient_accumulation_steps $PRETRAIN_GRADIENT_ACCUMULATION_STEPS \
    --evaluation_strategy "no" \
    --save_strategy "steps" \
    --save_steps $CKPT_SAVE_STEPS \
    --save_total_limit $TOTAL_SAVE_CKPT_LIMIT \
    --learning_rate 1e-3 \
    --weight_decay 0. \
    --warmup_ratio 0.03 \
    --lr_scheduler_type "cosine" \
    --logging_steps $LOGGING_STEP \
    --tf32 True \
    --model_max_length 2048 \
    --gradient_checkpointing True \
    --dataloader_num_workers $PRETRAIN_DATALOADER_NUM_WORKERS \
    --lazy_preprocess True \
    --report_to none \
    2>&1 | tee $SCRIPT_DIR/../output/training_dirs/$PRETRAIN_NAME/pretrain.log

mkdir -p $SCRIPT_DIR/../output/training_dirs/$FINETUNE_NAME

deepspeed $SCRIPT_DIR/training/mgm/train/train_mem.py \
    --deepspeed $SCRIPT_DIR/training/scripts/zero2_offload.json \
    --model_name_or_path $SCRIPT_DIR/training/model_zoo/LLM/gemma/gemma-2b-it \
    --version gemma \
    --data_path $SCRIPT_DIR/training/data/finetuning_stage_1_12k/mgm_instruction_stage_1_12k.json \
    --image_folder $SCRIPT_DIR/training/data/finetuning_stage_1_12k \
    --vision_tower $SCRIPT_DIR/training/model_zoo/OpenAI/clip-vit-large-patch14-336 \
    --vision_tower_aux $SCRIPT_DIR/training/model_zoo/OpenAI/openclip-convnext-large-d-320-laion2B-s29B-b131K-ft-soup \
    --pretrain_mm_mlp_adapter $SCRIPT_DIR/../output/training_dirs/$PRETRAIN_NAME/mm_projector.bin \
    --mm_projector_type mlp2x_gelu \
    --mm_vision_select_layer -2 \
    --mm_use_im_start_end False \
    --mm_use_im_patch_token False \
    --image_aspect_ratio pad \
    --group_by_modality_length True \
    --image_size_aux $AUX_SIZE \
    --bf16 True \
    --output_dir $SCRIPT_DIR/../output/training_dirs/$FINETUNE_NAME \
    --num_train_epochs $NUM_TRAIN_EPOCHS \
    --per_device_train_batch_size $FINETUNE_BATCH_SIZE_PER_GPU \
    --per_device_eval_batch_size 4 \
    --gradient_accumulation_steps $FINETUNE_GRADIENT_ACCUMULATION_STEPS \
    --evaluation_strategy "no" \
    --save_strategy "steps" \
    --save_steps $CKPT_SAVE_STEPS \
    --save_total_limit $TOTAL_SAVE_CKPT_LIMIT \
    --learning_rate 2e-5 \
    --weight_decay 0. \
    --warmup_ratio 0.03 \
    --lr_scheduler_type "cosine" \
    --logging_steps $LOGGING_STEP \
    --tf32 True \
    --model_max_length 2048 \
    --gradient_checkpointing True \
    --dataloader_num_workers $FINETUNE_DATALOADER_NUM_WORKERS \
    --lazy_preprocess True \
    --report_to none \
    2>&1 | tee $SCRIPT_DIR/../output/training_dirs/$FINETUNE_NAME/finetuning.log

# inference for submission
# TextVQA
echo "Infer on TextVQA..."
bash $SCRIPT_DIR/eval/textvqa.sh $FINETUNE_NAME $INFER_CUDA_IDX
# MMBench
echo "Infer on MMBench..."
bash $SCRIPT_DIR/eval/mmbench.sh $FINETUNE_NAME "mmbench_dev_20230712" $INFER_CUDA_IDX

# copy this script to output
cp $0 $SCRIPT_DIR/../output/train.sh

# info
echo "Training and Inference done."
echo "Training checkpoints are stored in output/training_dirs/$FINETUNE_NAME."
echo "Inference results are stored in output/eval_results/$FINETUNE_NAME."

这个Bash脚本是用于深度学习模型训练和推理的自动化脚本。我将逐行解释脚本的功能：

#!/bin/bash

这是shebang行，告诉系统这个脚本应该用Bash shell来执行。

##############################################################################
########################### Editable Part Begins ###########################
##############################################################################

# exp meta information
EXP_NAME=default
PRETRAIN_DATASET=../output/image_captioning_output/res_10k.jsonl
PRETRAIN_DATASET_IMAGE_PATH=../input/pretrain_stage_1_10k

这些是实验的元信息，包括实验名称和预训练数据集的路径。EXP_NAME是实验的名称，PRETRAIN_DATASET是预训练阶段使用的数据集的路径，PRETRAIN_DATASET_IMAGE_PATH是预训练数据集图像的路径。

# training args
# ...

这部分定义了训练参数，包括预训练和微调的批处理大小、梯度累积步数和数据加载器的工作线程数。

# log and ckpt
LOGGING_STEP=1
CKPT_SAVE_STEPS=100
TOTAL_SAVE_CKPT_LIMIT=1

这些变量设置了日志记录和检查点保存的参数，包括每多少步记录一次日志(LOGGING_STEP)，每多少步保存一次检查点(CKPT_SAVE_STEPS)，以及总共保存多少个检查点(TOTAL_SAVE_CKPT_LIMIT)。

# inference args
INFER_CUDA_IDX="0"

这部分设置了推理参数，INFER_CUDA_IDX指定了用于推理的GPU索引。

SCRIPT_DIR=$(cd "$(dirname "$0")" && pwd)

这行代码获取脚本所在的目录并将其存储在变量SCRIPT_DIR中。

ORIGINAL_DATASET_ALL=$SCRIPT_DIR/../input/pretrain_stage_1_10k/stage_1.json

定义原始数据集的路径。

# check the global size
# ...

这部分脚本检查全局批处理大小是否符合要求。

# check number of dataset samples
# ...

这部分脚本检查数据集中的样本数量是否超过最大值。

# convert dataset from dj format to llava format
# ...

将数据集从dj格式转换为llava格式。

# train model
# ...

这部分脚本使用deepspeed命令来训练模型，包括预训练和微调两个阶段。

mkdir -p $SCRIPT_DIR/../output/training_dirs/$PRETRAIN_NAME

创建预训练模型的输出目录。

deepspeed $SCRIPT_DIR/training/mgm/train/train_mem.py \
    # ... arguments ...

使用DeepSpeed训练模型，传递了多个参数，包括模型路径、数据路径、输出目录等。

mkdir -p $SCRIPT_DIR/../output/training_dirs/$FINETUNE_NAME

创建微调模型的输出目录。

deepspeed $SCRIPT_DIR/training/mgm/train/train_mem.py \
    # ... arguments ...

使用DeepSpeed进行微调阶段的训练。

# inference for submission
# ...

执行推理脚本，用于评估模型在特定基准测试上的性能。

# copy this script to output
cp $0 $SCRIPT_DIR/../output/train.sh

将当前脚本复制到输出目录，便于记录。

# info
echo "Training and Inference done."
# ...

打印完成信息，包括训练检查点和推理结果的存储位置。

整个脚本是一个自动化流程，用于训练和评估深度学习模型。脚本中的注释提供了足够的信息来理解每部分的作用。用户可以根据需要编辑脚本的"Editable Part"来调整实验设置。

iAdonis
关注
  • 5
    点赞
  • 踩
  • 4
    收藏
    觉得还不错? 一键收藏
  • 0
    评论
深度报告-2024浙商证券-人工智能行业深度报告_从Sora看多模态大模型发展.pdf
07-11
《深度报告-2024浙商证券-人工智能行业深度报告_从Sora看多模态大模型发展》深入剖析了当前人工智能领域中的多模态大模型发展趋势，特别是以Sora为代表的先进模型如何引领这一技术浪潮。报告首先介绍了多模态大模型...
《XrayGLM：首个会看胸部X光片的中文多模态医学大模型》源代码
08-06
最近，通用领域的大语言模型 (LLM)，例如 ChatGPT，在遵循指令和产生类似人类响应方面取得了显著的成功，这种成功间接促进了多模态大模型的研究和发展，如通用领域的多模态大模型MiniGPT-4、mPLUG-Owl、Multimodal-...
基于baichuan-7b的开源多模态大语言模型.zip
03-14
总结，Baichuan-7B开源多模态大语言模型是人工智能领域的璀璨明珠，其强大的多模态理解能力和易于部署的特性，使得它在垂直领域的应用前景广阔。无论你是研究人员还是开发者，都能从这个模型中找到丰富的学习资源和...
人工智能行业专题报告：多模态AI研究框架
06-10
### 人工智能行业专题报告：多模态AI研究框架 #### 一、AI模型从单模态向多模态演进，未来有望实现认知智能 随着人工智能技术的发展，AI模型正逐步从处理单一类型的数据（如纯文本或纯图像）向能够处理多种不同...
《AI大模型应用》-《多模态大模型：新一代人工智能技术范式》 .zip
07-10
个人深耕AI大模型应用领域积累的成果，希望对您有所帮助。有大模型账号、环境问题、AI大模型技术应用落地方案等相关问题，欢迎详聊，能为您解决问题是我的荣幸！ 个人深耕AI大模型应用领域积累的成果，希望对您有所...
24 优化算法
kaszxc的博客
08-19 436
深度学习模型大多是非凸的所以关于凸优化的很多理论无法使用小批量随机梯度下降是最常用的优化算法冲量对梯度做平滑冲量法是一个简单的稳定优化的算法Adam 对梯度做平滑，且对梯度各个维度值做重新调整通过实践发现，Adam 不一定比冲量法准确率高或者是收敛快，但是整体来讲 Adam 是比较稳定的，Adam 对学习率不那么敏感，使得调参相对来讲会更加容易一点范围之中（进行维度上的调整）分母中的 ε 的作用是保证分母不等于零。
零基础学习人工智能—Python—Pytorch学习（六）
kiba518的博客
08-21 450
前言 本文主要讲神经网络的上半部分。 这篇文章开始有很多公式了，这些公式都很简单，但是如果是不经常在脑海里思考公式的人，那可能需要多花点时间做一下自我训练，个人感觉，也就几天时间，就能把自己感觉给调整出来。 习惯了公式看下面内容就会轻松很多，另外如果要深入学习人工智能，熟练的认知公式也是个必须的事情。 另外，我发现我前面文章写的有歧义的地方还是挺多，虽然，已经改了一部分，但，可能还有没发现的，大...
天猫商品详情API：深度挖掘商品推荐与关联的新路径
2401_85789772的博客
08-20 615
天猫商品详情API是天猫开放平台提供的一项服务，旨在帮助开发者获取天猫平台上商品的详细信息，包括但不限于商品标题、价格、销量、描述、图片以及推荐与关联商品等。这一接口不仅为购物者提供了丰富的商品信息，也为商家和开发者提供了强大的数据支持，助力其优化商品展示策略，提升用户购物体验。天猫商品详情API为开发者提供了深入挖掘商品推荐与关联信息的新途径。通过合理利用这一接口，开发者可以实现精准的商品推荐与关联展示，提升用户体验和平台运营效率。
吴恩达机器学习-C2W2-Relu(线性整流函数)
weixin_50946965的博客
08-18 1314
吴恩达机器学习实验室中文翻译-C2W2-Relu
yolov8 出现loss 为nan
zhaoluruoyan89的博客
08-21 247
这篇博客警示读者在购买用于深度学习的显卡时要避开那些导致RuntimeWarning: All-NaN slice encountered的问题。作者强调这些Tensor核心存在严重缺陷，不适宜进行深度学习任务，建议大家在选购时务必谨慎。方法二：将混合精度训练AMP 设置为False。方法一：降低cuda和pytorch 版本号。
基于Python星载气溶胶数据处理与反演分析
lwjnlqiqi的博客
08-21 811
Python星载气溶胶数据处理与反演分析
AI秘境-墨小黑奇遇记 (五)：数值微分的挑战与心灵的涟漪
蒾途尐書瞳的专栏
08-18 819
清晨的阳光透过宿舍的窗帘洒在墨小黑的脸上，他缓缓睁开眼睛，思绪还停留在昨晚的讨论中。与此同时，实验室的另一头，小冬正在忙着他的实验，他性格沉稳，总是喜欢把事情做得井井有条。于是他回复道：“好的，我马上出来。”艺术家撇了撇嘴，脸上的笑容却依旧，“不过我说真的，小黑，你也该放松一下了，这样搞下去可不好。墨小黑终于停下了手中的工作，回过头来看着艺术家，“抱歉，我现在没时间玩游戏，得先搞定这些数值微分。墨小黑将他在实验室的困境一一讲述，关于数值微分的复杂性、偏导数的难点，还有那些似乎无解的代码问题。
基于YOLO V8的PCB缺陷检测识别系统（python源码+Pyqt5界面+数据集+训练代码）
最新发布
2401_83580557的博客
08-22 240
基于YOLO V8的PCB缺陷检测识别系统【python源码+Pyqt5界面+数据集+训练代码】
Transformer经典模型实战：零基础训练一个面向中文的T5模型（Text to Text Transfer Transformer）
bayesian1的博客
08-20 1024
Transformer经典模型实战：零基础训练一个面向中文的T5模型（Text to Text Transfer Transformer），通过构建T5模型，采用中文重写任务的数据集进行训练，模型效果非常好，貌似还涌现出了一定的创造力。
AI跨境客服助力企业出海解决客服难题！
zhoguancunkj的博客
08-20 487
跟大家讲一个关于出海品牌客户的案例，客户非常的厉害，我国的眼镜及相关配件出口世界第一，但眼镜品牌却比较少，这个客户他们突破了有类物品的尴尬局面，目前服务的国家和地区有150个，全球累计用户500W+，他们的客户访问量可想而知非常高，这对他们之前的客服系统挑战非常大，就算遇到高峰期也不用担心，机器人将意向客户转接给人工客服，提升效率！Chatbot智能文本机器人基于大模型，将效率提升约80%，在时间上大大缩减，并且大模型的知识库不断增强，Chatbot智能文本机器人服务效果也持续接近人。
图卷积神经网络算法
2401_85886655的博客
08-21 509
元学习，自监督学，transformer，lstm，cnn，bert，GAN，强化学习 图神经网络推荐算法。图神经网络 图卷积神经网络 GNN GCN 算法 咨询 图卷积神经网络（GCN） python D码，应用于节点分类。元学习，自监督学，transformer，lstm，cnn，bert，GAN，交通预测 强化学习 图神经网络推荐算法。lightGCN NGCF 创新点1-3 movielen-1m数据集 指标：recall、ndcg。具体价格根据难易程度定。
CAS-ViT实战：使用CAS-ViT实现图像分类任务（一）
m0_47867638的博客
08-21 685
EMA是一种加权移动平均技术，其中每个新的平均值都是前一个平均值和当前值的加权和。在深度学习中，EMA被用于模型参数的更新，以减缓参数在训练过程中的快速波动，从而得到更加平滑和稳定的模型表现。
微软AI人工智能认证有哪些？
Candy_2302的博客
08-20 734
简单来说：微软人工智能认证证书（英文名：Azure AI Fundamentals）是由微软官方最新研发的一项有关人工智能的认证证书。微软AI人工智能证书分为两个等级： 初级：AI900认证 中级：AI102认证 可直接考中级，无需先通过初级！
CAS-ViT实战：使用CAS-ViT实现图像分类任务（二）
m0_47867638的博客
08-22 594
训练部分。
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值