Chatglm-4v-9b-lora微调 日志 实操+细节

于 2024-08-21 14:44:47 发布
阅读量428 收藏 9
点赞数 11
文章标签： 语言模型 nlp 计算机视觉
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/2301_79474242/article/details/141393084
版权

GLM4 github地址

THUDM/GLM-4: GLM-4 series: Open Multilingual Multimodal Chat LMs | 开源多语言多模态对话模型 (github.com)

GLM4模型地址

glm-4v-9b · 模型库 (modelscope.cn)

多模态能力

GLM-4V-9B 是一个多模态语言模型，具备视觉理解能力，其相关经典任务的评测结果如下：

MMBench-EN-TestMMBench-CN-TestSEEDBench_IMGMMStarMMMUMMEHallusionBenchAI2DOCRBench
英文综合中文综合综合能力综合能力学科综合感知推理幻觉性图表理解文字识别
GPT-4o, 2024051383.482.177.163.969.22310.35584.6736
GPT-4v, 202404098180.2735661.72070.243.978.6656
GPT-4v, 202311067774.472.349.753.81771.546.575.9516
InternVL-Chat-V1.582.380.775.257.146.82189.647.480.6720
LlaVA-Next-Yi-34B81.17975.751.648.82050.234.878.9574
Step-1V80.779.970.35049.92206.448.479.2625
MiniCPM-Llama3-V2.577.673.872.351.845.82024.642.478.4725
Qwen-VL-Max77.675.772.749.5522281.741.275.7684
GeminiProVision73.674.370.738.6492148.945.772.9680
Claude-3V Opus63.359.26445.754.91586.837.870.6694
GLM-4v-9B81.179.476.858.747.22163.846.6

配置:

A800 80G
​
PyTorch 2.1.0
​
Python 3.10(ubuntu22.04)
​
Cuda 12.1

下载模型

pip install modelscope
执行这段代码下载
#模型下载
from modelscope import snapshot_download
model_dir = snapshot_download('ZhipuAI/glm-4v-9b',cache_dir='/root/autodl-tmp/')

下载框架

git clone https://github.com/THUDM/GLM-4.git

在框架里找到 basic_demo下 的 requirements.txt 装包 用清华源会快很多

pip install -r autodl-tmp/GLM-4/basic_demo/requirements.txt -i https://pypi.tuna.tsinghua.edu.cn/simple

安装 finetune_demo下的依赖 在这一步要把里面的 peft包 改成 12.00版本的

pip install -r autodl-tmp/GLM-4/finetune_demo/requirements.txt -i https://pypi.tuna.tsinghua.edu.cn/simple

构建数据集 为jsonl格式(仅支持jsonl格式) 需要有图片 图片得是绝对路径格式

{"messages":[{"role":"user","content":"图片中有什么？","image": "/root/GLM-4/图片存放/0000.jpg"},{"role":"assistant","content":"图片中有一棵圣诞树站在人群中。"},{"role":"user","content":"图片中的圣诞树是什么颜色的？"},{"role":"assistant","content":"圣诞树是绿色的，上面装饰有各种颜色的装饰品。"}]}
{"messages":[{"role":"user","content":"图片中有什么？","image": "/root/GLM-4/图片存放/0001.jpg"},{"role":"assistant","content":"图片中有一个白色的马桶和一个挂在墙上的淋浴喷头，还有几卷卫生纸挂在毛巾架上。"},{"role":"user","content":"图片中的马桶和淋浴喷头是什么颜色的？"},{"role":"assistant","content":"马桶和淋浴喷头都是白色的。"}]}
{"messages":[{"role":"user","content":"图片中有什么？","image": "/root/GLM-4/图片存放/0002.jpg"},{"role":"assistant","content":"图片中有两个人坐在一头大象的背上。"},{"role":"user","content":"图片中的大象是什么颜色的？"},{"role":"assistant","content":"大象是灰色的。"}]}
{"messages":[{"role":"user","content":"图片中有什么？","image": "/root/GLM-4/图片存放/0003.jpg"},{"role":"assistant","content":"图片中有一位年长的女性庆祝她的90岁生日，旁边有一个生日蛋糕。"},{"role":"user","content":"图片中的蛋糕是什么颜色的？"},{"role":"assistant","content":"蛋糕是白色的，可能还有其他装饰颜色。"}]}
{"messages":[{"role":"user","content":"图片中有什么？","image": "/root/GLM-4/图片存放/0004.jpg"},{"role":"assistant","content":"图片中有一群人在高空中放风筝。"},{"role":"user","content":"图片中的风筝是什么颜色的？"},{"role":"assistant","content":"风筝的颜色多样，主要包括红色、蓝色和黄色等。"}]}
{"messages":[{"role":"user","content":"图片中有什么？","image": "/root/GLM-4/图片存放/0005.jpg"},{"role":"assistant","content":"图片中是一个黑暗的公寓客厅，只有阳台上的节日灯光在照亮。"},{"role":"user","content":"图片中的灯光是什么颜色的？"},{"role":"assistant","content":"节日灯光是多彩的，包含了红色、绿色、黄色等颜色。"}]}
{"messages":[{"role":"user","content":"图片中有什么？","image": "/root/GLM-4/图片存放/0006.jpg"},{"role":"assistant","content":"图片中有一堆香蕉，旁边有一张孩子的照片。"},{"role":"user","content":"图片中的香蕉是什么颜色的？"},{"role":"assistant","content":"香蕉是黄色的。"}]}
{"messages":[{"role":"user","content":"图片中有什么？","image": "/root/GLM-4/图片存放/0007.jpg"},{"role":"assistant","content":"图片中有一个人把脚搭在桌子上，旁边有披萨和一台电脑。"},{"role":"user","content":"图片中的披萨是什么颜色的？"},{"role":"assistant","content":"披萨的颜色是棕色和金黄色，顶部有一些配料如奶酪和番茄酱。"}]}
{"messages":[{"role":"user","content":"图片中有什么？","image": "/root/GLM-4/图片存放/0008.jpg"},{"role":"assistant","content":"图片中有一辆红色的越野摩托车停在支架上。"},{"role":"user","content":"图片中的摩托车是什么颜色的？"},{"role":"assistant","content":"摩托车是红色的。"}]}
{"messages":[{"role":"user","content":"图片中有什么？","image": "/root/GLM-4/图片存放/0009.jpg"},{"role":"assistant","content":"图片中有一个穿橙色T恤的年轻男子正在准备击打网球。"},{"role":"user","content":"图片中的网球是什么颜色的？"},{"role":"assistant","content":"网球是黄色的。"}]}
{"messages": [{"role": "user", "content": "图片中有什么？", "image":"/root/GLM-4/图片存放/0010.jpg"}, {"role": "assistant", "content": "图片中有一只红色的消防栓被雪覆盖和围绕。"}, {"role": "user", "content": "图片中的物体是什么颜色的？"}, {"role": "assistant", "content": "消防栓是红色的，雪是白色的。"}]}
{"messages": [{"role": "user", "content": "图片中有什么？", "image": "/root/GLM-4/图片存放/0011.jpg"}, {"role": "assistant", "content": "图片中有一辆装满家电和家具的旧卡车在街上行驶。"}, {"role": "user", "content": "图片中的物体是什么颜色的？"}, {"role": "assistant", "content": "卡车是红色的，街道是灰色的。"}]}
{"messages": [{"role": "user", "content": "图片中有什么？", "image": "/root/GLM-4/图片存放/0012.jpg"}, {"role": "assistant", "content": "图片中有一名戴眼镜的男子，靠着拳头支撑着头部。"}, {"role": "user", "content": "图片中的物体是什么颜色的？"}, {"role": "assistant", "content": "男子穿着蓝色的衬衫，背景是模糊的，主要颜色是灰色的。"}]}
{"messages": [{"role": "user", "content": "图片中有什么？", "image": "/root/GLM-4/图片存放/0013.jpg"}, {"role": "assistant", "content": "图片中有两个男人站在田野里。"}, {"role": "user", "content": "图片中的物体是什么颜色的？"}, {"role": "assistant", "content": "两个人穿着深色的衣服，背景是绿色的草地。"}]}

运行微调指令 微调参数在lora.yaml 里面修改 参数为 data路径 模型路径 config路径

python finetune_vision.py  data/  /root/autodl-tmp/ZhipuAI/glm-4v-9b configs/lora.yaml 
​

微调显存占用大约在56-28之间浮动 按官方给出的loar - 大概是在75g

训练日志 300次耗时 15分钟:

root@autodl-container-e94b4883e6-1f32b64b:~/autodl-tmp/GLM-4/finetune_demo# python finetune_vision.py  data/  /root/autodl-tmp/ZhipuAI/glm-4v-9b configs/lora.yaml 
Loading checkpoint shards: 100%|████████████████████████████████████████████████████████████████████████████████████████████████████████████████| 15/15 [00:01<00:00,  8.37it/s]
trainable params: 6,397,952 || all params: 13,912,718,848 || trainable%: 0.0460
train_dataset: Dataset({
    features: ['input_ids', 'attention_mask', 'position_ids', 'labels', 'images'],
    num_rows: 10
})
val_dataset: Dataset({
    features: ['input_ids', 'attention_mask', 'position_ids', 'output_ids', 'images'],
    num_rows: 12
})
test_dataset: Dataset({
    features: ['input_ids', 'attention_mask', 'position_ids', 'output_ids', 'images'],
    num_rows: 12
})
Detected kernel version 4.19.90, which is below the recommended minimum of 5.5.0; this can cause the process to hang. It is recommended to upgrade the kernel to the minimum version or higher.
max_steps is given, it will override any value given in num_train_epochs
[2024-08-21 13:30:56,630] [INFO] [real_accelerator.py:203:get_accelerator] Setting ds_accelerator to cuda (auto detect)
 [WARNING]  async_io requires the dev libaio .so object and headers but these were not found.
 [WARNING]  async_io: please install the libaio-dev package with apt
 [WARNING]  If libaio is already installed (perhaps from source), try setting the CFLAGS and LDFLAGS environment variables to where it can be found.
 [WARNING]  Please specify the CUTLASS repo directory as environment variable $CUTLASS_PATH
 [WARNING]  sparse_attn requires a torch version >= 1.5 and < 2.0 but detected 2.4
 [WARNING]  using untested triton version (3.0.0), only 1.0.0 is known to be compatible
/root/miniconda3/lib/python3.10/site-packages/deepspeed/runtime/zero/linear.py:49: FutureWarning: `torch.cuda.amp.custom_fwd(args...)` is deprecated. Please use `torch.amp.custom_fwd(args..., device_type='cuda')` instead.
  def forward(ctx, input, weight, bias=None):
/root/miniconda3/lib/python3.10/site-packages/deepspeed/runtime/zero/linear.py:67: FutureWarning: `torch.cuda.amp.custom_bwd(args...)` is deprecated. Please use `torch.amp.custom_bwd(args..., device_type='cuda')` instead.
  def backward(ctx, grad_output):
***** Running training *****
  Num examples = 10
  Num Epochs = 31
  Instantaneous batch size per device = 1
  Total train batch size (w. parallel, distributed & accumulation) = 1
  Gradient Accumulation steps = 1
  Total optimization steps = 301
  Number of trainable parameters = 6,397,952
  0%|                                                                                                                                                   | 0/301 [00:00<?, ?it/s]/root/miniconda3/lib/python3.10/site-packages/torch/utils/checkpoint.py:1399: FutureWarning: `torch.cpu.amp.autocast(args...)` is deprecated. Please use `torch.amp.autocast('cpu', args...)` instead.
  with device_autocast_ctx, torch.cpu.amp.autocast(**cpu_autocast_kwargs), recompute_context:  # type: ignore[attr-defined]
{'loss': 3.5938, 'grad_norm': 10.733323097229004, 'learning_rate': 0.0004833887043189369, 'epoch': 1.0}                                                                         
{'loss': 1.8109, 'grad_norm': 4.4661383628845215, 'learning_rate': 0.0004667774086378738, 'epoch': 2.0}                                                                         
{'loss': 1.1641, 'grad_norm': 7.350773811340332, 'learning_rate': 0.0004501661129568106, 'epoch': 3.0}                                                                          
{'loss': 0.8066, 'grad_norm': 8.626984596252441, 'learning_rate': 0.0004335548172757475, 'epoch': 4.0}                                                                          
{'loss': 0.5965, 'grad_norm': 1.2147183418273926, 'learning_rate': 0.0004169435215946844, 'epoch': 5.0}                                                                         
{'loss': 0.575, 'grad_norm': 6.869624137878418, 'learning_rate': 0.0004003322259136213, 'epoch': 6.0}                                                                           
{'loss': 0.6049, 'grad_norm': 5.884566783905029, 'learning_rate': 0.0003837209302325582, 'epoch': 7.0}                                                                          
{'loss': 0.5574, 'grad_norm': 0.1620490849018097, 'learning_rate': 0.000367109634551495, 'epoch': 8.0}                                                                          
{'loss': 0.5186, 'grad_norm': 1.8908841609954834, 'learning_rate': 0.0003504983388704319, 'epoch': 9.0}                                                                         
{'loss': 0.5385, 'grad_norm': 0.09366925805807114, 'learning_rate': 0.0003338870431893688, 'epoch': 10.0}                                                                       
 33%|█████████████████████████████████████████████▌                                                                                           | 100/301 [04:56<09:00,  2.69s/it]Saving model checkpoint to ./output/checkpoint-100
loading configuration file /root/autodl-tmp/ZhipuAI/glm-4v-9b/config.json
Model config ChatGLMConfig {
  "_name_or_path": "THUDM/glm-4v-9b",
  "add_bias_linear": false,
  "add_qkv_bias": true,
  "apply_query_key_layer_scaling": true,
  "apply_residual_connection_post_layernorm": false,
  "architectures": [
    "ChatGLMModel"
  ],
  "attention_dropout": 0.0,
  "attention_softmax_in_fp32": true,
  "auto_map": {
    "AutoConfig": "configuration_chatglm.ChatGLMConfig",
    "AutoModel": "modeling_chatglm.ChatGLMForConditionalGeneration",
    "AutoModelForCausalLM": "modeling_chatglm.ChatGLMForConditionalGeneration",
    "AutoModelForSeq2SeqLM": "modeling_chatglm.ChatGLMForConditionalGeneration",
    "AutoModelForSequenceClassification": "modeling_chatglm.ChatGLMForSequenceClassification"
  },
  "bias_dropout_fusion": true,
  "boi_token_id": 151339,
  "classifier_dropout": null,
  "eoi_token_id": 151340,
  "eos_token_id": [
    151329,
    151336,
    151338
  ],
  "ffn_hidden_size": 13696,
  "fp32_residual_connection": false,
  "hidden_dropout": 0.0,
  "hidden_size": 4096,
  "kv_channels": 128,
  "layernorm_epsilon": 1.5625e-07,
  "model_type": "chatglm",
  "multi_query_attention": true,
  "multi_query_group_num": 2,
  "num_attention_heads": 32,
  "num_layers": 40,
  "original_rope": true,
  "pad_token_id": 151329,
  "padded_vocab_size": 151552,
  "post_layer_norm": true,
  "pre_seq_len": null,
  "prefix_projection": false,
  "rmsnorm": true,
  "rope_ratio": 1,
  "seq_length": 8192,
  "tie_word_embeddings": false,
  "torch_dtype": "bfloat16",
  "transformers_version": "4.44.0",
  "use_cache": true,
  "vision_config": {
    "dropout_prob": 0.0,
    "hidden_act": "gelu",
    "hidden_size": 1792,
    "image_size": 1120,
    "in_channels": 3,
    "intermediate_size": 15360,
    "layer_norm_eps": 1e-06,
    "num_heads": 16,
    "num_hidden_layers": 63,
    "num_positions": 6401,
    "patch_size": 14,
    "scaling_factor": 8
  },
  "vocab_size": 151552
}
​
/root/miniconda3/lib/python3.10/site-packages/torch/utils/checkpoint.py:1399: FutureWarning: `torch.cpu.amp.autocast(args...)` is deprecated. Please use `torch.amp.autocast('cpu', args...)` instead.
  with device_autocast_ctx, torch.cpu.amp.autocast(**cpu_autocast_kwargs), recompute_context:  # type: ignore[attr-defined]
{'loss': 0.5539, 'grad_norm': 0.14932133257389069, 'learning_rate': 0.0003172757475083057, 'epoch': 11.0}                                                                       
{'loss': 0.5088, 'grad_norm': 1.0388888120651245, 'learning_rate': 0.0003006644518272426, 'epoch': 12.0}                                                                        
{'loss': 0.5055, 'grad_norm': 0.0503326915204525, 'learning_rate': 0.00028405315614617936, 'epoch': 13.0}                                                                       
{'loss': 0.5043, 'grad_norm': 0.04505591839551926, 'learning_rate': 0.00026744186046511625, 'epoch': 14.0}                                                                      
{'loss': 0.5035, 'grad_norm': 0.04017101600766182, 'learning_rate': 0.00025083056478405314, 'epoch': 15.0}                                                                      
{'loss': 0.5025, 'grad_norm': 0.0547008141875267, 'learning_rate': 0.00023421926910299006, 'epoch': 16.0}                                                                       
{'loss': 0.5025, 'grad_norm': 0.024539534002542496, 'learning_rate': 0.00021760797342192692, 'epoch': 17.0}                                                                     
{'loss': 0.5018, 'grad_norm': 0.027166176587343216, 'learning_rate': 0.0002009966777408638, 'epoch': 18.0}                                                                      
{'loss': 0.5016, 'grad_norm': 0.025752652436494827, 'learning_rate': 0.00018438538205980064, 'epoch': 19.0}                                                                     
{'loss': 0.5014, 'grad_norm': 0.021403193473815918, 'learning_rate': 0.00016777408637873753, 'epoch': 20.0}                                                                     
 66%|███████████████████████████████████████████████████████████████████████████████████████████                                              | 200/301 [09:48<04:33,  2.71s/it]Saving model checkpoint to ./output/checkpoint-200
loading configuration file /root/autodl-tmp/ZhipuAI/glm-4v-9b/config.json
Model config ChatGLMConfig {
  "_name_or_path": "THUDM/glm-4v-9b",
  "add_bias_linear": false,
  "add_qkv_bias": true,
  "apply_query_key_layer_scaling": true,
  "apply_residual_connection_post_layernorm": false,
  "architectures": [
    "ChatGLMModel"
  ],
  "attention_dropout": 0.0,
  "attention_softmax_in_fp32": true,
  "auto_map": {
    "AutoConfig": "configuration_chatglm.ChatGLMConfig",
    "AutoModel": "modeling_chatglm.ChatGLMForConditionalGeneration",
    "AutoModelForCausalLM": "modeling_chatglm.ChatGLMForConditionalGeneration",
    "AutoModelForSeq2SeqLM": "modeling_chatglm.ChatGLMForConditionalGeneration",
    "AutoModelForSequenceClassification": "modeling_chatglm.ChatGLMForSequenceClassification"
  },
  "bias_dropout_fusion": true,
  "boi_token_id": 151339,
  "classifier_dropout": null,
  "eoi_token_id": 151340,
  "eos_token_id": [
    151329,
    151336,
    151338
  ],
  "ffn_hidden_size": 13696,
  "fp32_residual_connection": false,
  "hidden_dropout": 0.0,
  "hidden_size": 4096,
  "kv_channels": 128,
  "layernorm_epsilon": 1.5625e-07,
  "model_type": "chatglm",
  "multi_query_attention": true,
  "multi_query_group_num": 2,
  "num_attention_heads": 32,
  "num_layers": 40,
  "original_rope": true,
  "pad_token_id": 151329,
  "padded_vocab_size": 151552,
  "post_layer_norm": true,
  "pre_seq_len": null,
  "prefix_projection": false,
  "rmsnorm": true,
  "rope_ratio": 1,
  "seq_length": 8192,
  "tie_word_embeddings": false,
  "torch_dtype": "bfloat16",
  "transformers_version": "4.44.0",
  "use_cache": true,
  "vision_config": {
    "dropout_prob": 0.0,
    "hidden_act": "gelu",
    "hidden_size": 1792,
    "image_size": 1120,
    "in_channels": 3,
    "intermediate_size": 15360,
    "layer_norm_eps": 1e-06,
    "num_heads": 16,
    "num_hidden_layers": 63,
    "num_positions": 6401,
    "patch_size": 14,
    "scaling_factor": 8
  },
  "vocab_size": 151552
}
​
/root/miniconda3/lib/python3.10/site-packages/torch/utils/checkpoint.py:1399: FutureWarning: `torch.cpu.amp.autocast(args...)` is deprecated. Please use `torch.amp.autocast('cpu', args...)` instead.
  with device_autocast_ctx, torch.cpu.amp.autocast(**cpu_autocast_kwargs), recompute_context:  # type: ignore[attr-defined]
{'loss': 0.5016, 'grad_norm': 0.053727854043245316, 'learning_rate': 0.00015116279069767442, 'epoch': 21.0}                                                                     
{'loss': 0.5014, 'grad_norm': 0.02131590060889721, 'learning_rate': 0.00013455149501661129, 'epoch': 22.0}                                                                      
{'loss': 0.5012, 'grad_norm': 0.038959991186857224, 'learning_rate': 0.00011794019933554818, 'epoch': 23.0}                                                                     
{'loss': 0.5012, 'grad_norm': 0.03352357819676399, 'learning_rate': 0.00010132890365448505, 'epoch': 24.0}                                                                      
{'loss': 0.5008, 'grad_norm': 0.037203721702098846, 'learning_rate': 8.471760797342193e-05, 'epoch': 25.0}                                                                      
{'loss': 0.5006, 'grad_norm': 0.01759534515440464, 'learning_rate': 6.81063122923588e-05, 'epoch': 26.0}                                                                        
{'loss': 0.501, 'grad_norm': 0.019959311932325363, 'learning_rate': 5.149501661129568e-05, 'epoch': 27.0}                                                                       
{'loss': 0.5004, 'grad_norm': 0.017147695645689964, 'learning_rate': 3.4883720930232556e-05, 'epoch': 28.0}                                                                     
{'loss': 0.5006, 'grad_norm': 0.01920023001730442, 'learning_rate': 1.827242524916944e-05, 'epoch': 29.0}                                                                       
{'loss': 0.5006, 'grad_norm': 0.024577999487519264, 'learning_rate': 1.6611295681063123e-06, 'epoch': 30.0}                                                                     
100%|████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████▌| 300/301 [14:41<00:02,  2.71s/it]Saving model checkpoint to ./output/checkpoint-300
loading configuration file /root/autodl-tmp/ZhipuAI/glm-4v-9b/config.json
Model config ChatGLMConfig {
  "_name_or_path": "THUDM/glm-4v-9b",
  "add_bias_linear": false,
  "add_qkv_bias": true,
  "apply_query_key_layer_scaling": true,
  "apply_residual_connection_post_layernorm": false,
  "architectures": [
    "ChatGLMModel"
  ],
  "attention_dropout": 0.0,
  "attention_softmax_in_fp32": true,
  "auto_map": {
    "AutoConfig": "configuration_chatglm.ChatGLMConfig",
    "AutoModel": "modeling_chatglm.ChatGLMForConditionalGeneration",
    "AutoModelForCausalLM": "modeling_chatglm.ChatGLMForConditionalGeneration",
    "AutoModelForSeq2SeqLM": "modeling_chatglm.ChatGLMForConditionalGeneration",
    "AutoModelForSequenceClassification": "modeling_chatglm.ChatGLMForSequenceClassification"
  },
  "bias_dropout_fusion": true,
  "boi_token_id": 151339,
  "classifier_dropout": null,
  "eoi_token_id": 151340,
  "eos_token_id": [
    151329,
    151336,
    151338
  ],
  "ffn_hidden_size": 13696,
  "fp32_residual_connection": false,
  "hidden_dropout": 0.0,
  "hidden_size": 4096,
  "kv_channels": 128,
  "layernorm_epsilon": 1.5625e-07,
  "model_type": "chatglm",
  "multi_query_attention": true,
  "multi_query_group_num": 2,
  "num_attention_heads": 32,
  "num_layers": 40,
  "original_rope": true,
  "pad_token_id": 151329,
  "padded_vocab_size": 151552,
  "post_layer_norm": true,
  "pre_seq_len": null,
  "prefix_projection": false,
  "rmsnorm": true,
  "rope_ratio": 1,
  "seq_length": 8192,
  "tie_word_embeddings": false,
  "torch_dtype": "bfloat16",
  "transformers_version": "4.44.0",
  "use_cache": true,
  "vision_config": {
    "dropout_prob": 0.0,
    "hidden_act": "gelu",
    "hidden_size": 1792,
    "image_size": 1120,
    "in_channels": 3,
    "intermediate_size": 15360,
    "layer_norm_eps": 1e-06,
    "num_heads": 16,
    "num_hidden_layers": 63,
    "num_positions": 6401,
    "patch_size": 14,
    "scaling_factor": 8
  },
  "vocab_size": 151552
}
​
/root/miniconda3/lib/python3.10/site-packages/torch/utils/checkpoint.py:1399: FutureWarning: `torch.cpu.amp.autocast(args...)` is deprecated. Please use `torch.amp.autocast('cpu', args...)` instead.
  with device_autocast_ctx, torch.cpu.amp.autocast(**cpu_autocast_kwargs), recompute_context:  # type: ignore[attr-defined]
100%|█████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████| 301/301 [14:46<00:00,  3.51s/it]Saving model checkpoint to ./output/checkpoint-301
loading configuration file /root/autodl-tmp/ZhipuAI/glm-4v-9b/config.json
Model config ChatGLMConfig {
  "_name_or_path": "THUDM/glm-4v-9b",
  "add_bias_linear": false,
  "add_qkv_bias": true,
  "apply_query_key_layer_scaling": true,
  "apply_residual_connection_post_layernorm": false,
  "architectures": [
    "ChatGLMModel"
  ],
  "attention_dropout": 0.0,
  "attention_softmax_in_fp32": true,
  "auto_map": {
    "AutoConfig": "configuration_chatglm.ChatGLMConfig",
    "AutoModel": "modeling_chatglm.ChatGLMForConditionalGeneration",
    "AutoModelForCausalLM": "modeling_chatglm.ChatGLMForConditionalGeneration",
    "AutoModelForSeq2SeqLM": "modeling_chatglm.ChatGLMForConditionalGeneration",
    "AutoModelForSequenceClassification": "modeling_chatglm.ChatGLMForSequenceClassification"
  },
  "bias_dropout_fusion": true,
  "boi_token_id": 151339,
  "classifier_dropout": null,
  "eoi_token_id": 151340,
  "eos_token_id": [
    151329,
    151336,
    151338
  ],
  "ffn_hidden_size": 13696,
  "fp32_residual_connection": false,
  "hidden_dropout": 0.0,
  "hidden_size": 4096,
  "kv_channels": 128,
  "layernorm_epsilon": 1.5625e-07,
  "model_type": "chatglm",
  "multi_query_attention": true,
  "multi_query_group_num": 2,
  "num_attention_heads": 32,
  "num_layers": 40,
  "original_rope": true,
  "pad_token_id": 151329,
  "padded_vocab_size": 151552,
  "post_layer_norm": true,
  "pre_seq_len": null,
  "prefix_projection": false,
  "rmsnorm": true,
  "rope_ratio": 1,
  "seq_length": 8192,
  "tie_word_embeddings": false,
  "torch_dtype": "bfloat16",
  "transformers_version": "4.44.0",
  "use_cache": true,
  "vision_config": {
    "dropout_prob": 0.0,
    "hidden_act": "gelu",
    "hidden_size": 1792,
    "image_size": 1120,
    "in_channels": 3,
    "intermediate_size": 15360,
    "layer_norm_eps": 1e-06,
    "num_heads": 16,
    "num_hidden_layers": 63,
    "num_positions": 6401,
    "patch_size": 14,
    "scaling_factor": 8
  },
  "vocab_size": 151552
}
​
​
​
Training completed. Do not forget to share your model on huggingface.co/models =)
​
​
{'train_runtime': 887.0465, 'train_samples_per_second': 0.339, 'train_steps_per_second': 0.339, 'train_loss': 0.6946830876245847, 'epoch': 30.1}                                
100%|█████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████| 301/301 [14:47<00:00,  2.95s/it]
​
***** Running Prediction *****
  Num examples = 12
  Batch size = 4
100%|█████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████| 3/3 [00:44<00:00, 15.75s/it]Building prefix dict from the default dictionary ...
Loading model from cache /tmp/jieba.cache
Loading model cost 0.683 seconds.
Prefix dict has been built successfully.
100%|█████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████| 3/3 [00:45<00:00, 15.28s/it]
r

推理测试

python inference.py output/checkpoint-301

推理显存占用大约21g

万理的探求者
关注
  • 11
    点赞
  • 踩
  • 9
    收藏
    觉得还不错? 一键收藏
  • 0
    评论
【深度学习】大模型GLM-4-9B Chat ，微调与部署(3) TensorRT-LLM、TensorRT量化加速、Triton部署
q742971636的博客
07-25 2075
TensorRT-LLM官方目前说在v0.12.0版本才会支持GLM-4-9B Chat ，下面以v0.10.0的魔改来做GLM-4-9B Chat的量化部署。本文目标就是加速GLM-4-9B Chat，看看能多快。A100卡。
基于ChatGLM-6B + LoRA实现的Fintune方案
06-19
准备 - 显卡: 显存 >= 16G (最好24G或者以上) - 环境： - - python>=3.8 - - cuda>=11.6, cupti, cuDNN, TensorRT等深度学习环境 - - pip3 install -r requirements.txt 其中requirements.txt中的安装包...
大模型LLM-微调经验分享&总结
xzp740813的博客
06-11 1003
大型语言模型横行，之前非常焦虑，现在全面拥抱。目前也有很多开源项目进行大模型微调等，笔者也做了一阵子大模型了，特此来介绍一下ChatGLM-6B模型微调经验，并汇总了一下目前开源项目&数据。笔者与很多人微调结论不同，本人在采用单指令上进行模型微调，发现模型微调之后，
XTuner 微调 LLM:1.8B、多模态、Agent
weixin_44217506的博客
06-13 992
是不是感觉其实微调也不过如此！事实上确实是这样的！其实在微调的时候最重要的还是要自己准备一份高质量的数据集，这个才是你能否真微调出效果最核心的利器。微调也经常被戏称为是炼丹，就是说你炼丹的时候你得思考好用什么样的材料、用多大的火候、烤多久的时间以及用什么丹炉去烧。这里的丹炉其实我们可以想象为 XTuner ，只要丹炉的质量过得去，炼丹的时候不会炸，一般都是没问题的。但是假如炼丹的材料（就是数据集）本来就是垃圾，那无论怎么炼（微调参数的调整），炼多久（训练的轮数），炼出来的东西还只能且只会是垃圾。
【InternLM 实战营第二期笔记+作业04】XTuner 微调 LLM：1.8B、多模态、Agent
zzzibo的博客
05-16 691
LLM的下游应用中，增量预训练和指令跟随主要的两种微调模式。增量预训练：再输入书籍、文字补充数据库指令跟随：让模型学会对话模版，学习数据是高质量的对话数据，需要高质量的标注举例：指令微调让模型不再简单地拟合问题，可以根据范式输出回答与llama-factory微调框架作对比多模态数据的处理1.文本 embedding模型 转向量2.图像 image projector 转向量，一并输出。
Llama 3.1 模型：从部署到微调的全方位应用手册
lvaolan168的博客
08-03 1114
在人工智能的浪潮中，大型语言模型（LLMs）已成为推动技术进步的关键力量。随着Meta公司最新开源的Llama 3.1模型的问世，我们见证了开源AI领域的一大飞跃。Llama 3.1以其卓越的性能和广泛的应用潜力，为开发者和研究者提供了一个强大的工具，以探索和实现各种复杂的AI应用。本文将深入探讨Llama 3.1模型的各个方面，从性能评估到模型的推理和微调，为读者提供一份全面的实战指南。
十分钟学会微调大语言模型
lvaolan123456的博客
06-18 637
本文介绍一种大语言模型微调的方法，使用的工具是我最近在用的 Text Generation WebUI，它提供了一个训练LoRA的功能。LoRA之于大语言模型，就像设计模式中的装饰器模式：装饰器模式允许向一个对象添加新的功能，而不改变其结构。具体来说，装饰器模式会创建一个装饰类，用来包装原有的类，并在保持原有类方法签名完整性的前提下，提供额外的功能。LoRA，全称为Low-Rank Adaptation，是一种微调大型语言模型的技术。
【十分钟学会微调大语言模型】
lhx17673139267的博客
07-11 635
如果我们想在某个业务场景或者垂直的方面加强大模型的能力，可以进行微调训练。本文就来介绍一种大语言模型微调的方法，使用的工具是我最近在用的 Text Generation WebUI，它提供了一个训练LoRA的功能。
使用 OpenLLM 构建和部署大模型应用
xzp740813的博客
06-29 949
BentoML专注于提供机器学习基础设施。核心产品是与公司同名的开源框架BentoML。公司总部位于旧金山湾区，在国内也有众多远程工作的同事。通过不断努力，公司获得了众多客户的认可。
大模型finetune-基于lora-deepspeed+多GPU实现的ChatGLM微调实现-附项目源码-优质项目实战.zip
05-25
在这个项目中，我们将深入探讨如何使用LORA-Deepspeed结合多GPU环境对ChatGLM大模型进行微调。这是一个实战性的优质项目，提供了一整套的源代码，旨在帮助开发者掌握大模型优化和分布式训练的关键技术。 首先，我们...
基于ChatGLM-6B + LoRA的Fintune方案
02-06
ChatGLM-6B + LoRA的Fintune方案是一种深度学习模型微调技术，用于在金融领域的对话生成任务上优化预训练模型。这个方案结合了两个关键组件：ChatGLM-6B，一个大规模的语言模型，以及LoRA（低秩适应），一种高效的...
基于ChatGLM-6B + LoRA的Fintune方案.zip
02-07
ChatGLM-6B + LoRA的Finetune方案是一个深度学习领域的项目，它涉及到自然语言处理（NLP）和模型微调技术。这个方案利用了预训练模型ChatGLM-6B，这是一种大规模的语言模型，具有强大的语言理解和生成能力。LoRA...
基于ChatGLM-6B、ChatGLM2模型，进行下游具体任务微调，涉及Freeze、Lora、P-tuning、全参微调等
08-21
基于ChatGLM-6B、ChatGLM2-6B模型，进行下游具体任务微调，涉及Freeze、Lora、P-tuning、全参微调等.zip 本资源中的源码都是经过本地编译过可运行的，下载后按照文档配置好环境就可以运行。资源项目源码系统完整，...
举例说明计算机视觉（CV）技术的优势和挑战
战族狼魂的博客
08-20 322
计算机视觉（Computer Vision，简称CV）是一种通过处理和分析视觉数据（如图像和视频）来模拟人类视觉系统的技术。它在各个领域得到了广泛应用，如自动驾驶、医疗影像分析、监控系统、增强现实等。下面将介绍计算机视觉技术的优势、挑战，并给出一个代码示例和实际应用。
＜数据集＞铝型材缺陷识别数据集＜目标检测＞
qq_53332949的博客
08-16 458
YOLO与VOC格式的铝型材缺陷识别数据集，适用于YOLO系列、Faster Rcnn、SSD等模型训练，共10个类别，图片数量1885
＜数据集＞斯坦福狗狗识别数据集＜目标检测＞
qq_53332949的博客
08-20 837
YOLO与VOC格式的斯坦福狗狗识别数据集，适用于YOLO系列、Faster Rcnn、SSD等模型训练，图片数量20580，120个种类
[数据集][目标检测]竹子甘蔗发芽缺陷检测数据集VOC+YOLO格式2953张3类别
最新发布
FL1623863129的博客
08-20 132
数据集格式：Pascal VOC格式+YOLO格式(不包含分割路径的txt文件，仅仅包含jpg图片以及对应的VOC格式xml文件和yolo格式txt文件)特别声明：本数据集不对训练的模型或者权重文件精度作任何保证，数据集只提供准确且合理标注。标注类别名称:["bud","damage_bud","sprouted_bud"]图片数量(jpg文件个数)：2953。标注数量(xml文件个数)：2953。标注数量(txt文件个数)：2953。使用标注工具：labelImg。标注规则：对类别进行画矩形框。
目标检测 | yolov8 原理和介绍
hhl_work的博客
08-19 303
近年来，You Only Look Once (YOLO)系列目标检测算法因其在实时应用中的速度和准确性而受到广泛关注。本文提出了一种新的目标检测算法YOLOv8，它建立在以前迭代的基础上，旨在进一步提高性能和鲁棒性。受到从YOLOv1到YOLOv7的YOLO架构演变的启发，以及从YOLOv5和YOLOv6等模型的比较分析中获得的见解，YOLOv8结合了关键创新，以实现最佳的速度和准确性。利用注意力机制和动态卷积，YOLOv8引入了专门为小物体检测量身定制的改进，解决了YOLOv7中突出的挑战。
chatglm2-6b微调lora
08-24
要对 chatglm2-6b 进行微调以适应 LORA（低功耗广域网）环境，可以按照以下步骤进行操作： 1. 首先，执行 chatglm2_6b_lora.py 脚本来启动微调过程。可以使用命令行输入以下命令：`python chatglm2_6b_lora.py`。 2. 接下来，修改配置文件中的几个值。可以使用以下命令在配置文件中替换一些字符串： ``` sed -i 's/THUDM\/chatglm2-6b--//g' ./chatglm2_6b_lora/config.json sed -i 's/THUDM\/chatglm2-6b/\.\.\/chatglm2_6b_lora/g' ./chatglm2_6b_lora/config.json sed -i 's/THUDM\/chatglm2-6b--//g' ./chatglm2_6b_lora/tokenizer_config.json sed -i 's/THUDM\/ChatGLM2-6B/\.\.\/chatglm2_6b_lora/g' ./chatglm2_6b_lora/modeling_chatglm.py sed -i 's/THUDM\/chatglm2-6b/\.\.\/chatglm2_6b_lora/g' ./chatglm2_6b_lora/modeling_chatglm.py ``` 这些命令将修改配置文件中的一些路径，以使其适应 LORA 微调环境。 3. 最后，调用导出的模型进行微调。具体操作可以参考 ChatGLM-Efficient-Tuning 项目的 README 文件，首先克隆该项目的仓库，然后创建并激活一个新的 Python 环境，安装所需的依赖，并根据提供的数据集说明进行微调。可以使用以下命令执行这一步骤： ``` git clone https://github.com/hiyouga/ChatGLM-Efficient-Tuning.git conda create -n chatglm_etuning python=3.10 conda activate chatglm_etuning cd ChatGLM-Efficient-Tuning pip install -r requirements.txt ``` 然后，根据项目提供的数据集说明进行微调。 通过按照上述步骤进行操作，您可以对 chatglm2-6b 进行 LORA 微调。<span class="em">1</span><span class="em">2</span><span class="em">3</span> #### 引用[.reference_title] - *1* *2* *3* [修改 ChatGLM2-6B 自我认知的 Lora 微调教程](https://blog.csdn.net/engchina/article/details/131492403)[target="_blank" data-report-click={"spm":"1018.2226.3001.9630","extra":{"utm_source":"vip_chatgpt_common_search_pc_result","utm_medium":"distribute.pc_search_result.none-task-cask-2~all~insert_cask~default-1-null.142^v93^chatsearchT3_2"}}] [.reference_item style="max-width: 100%"] [ .reference_list ]
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值