Qwen2（Qwen1.5阿里）微调实战qwen1.5-7b

已于 2024-04-10 13:51:52 修改
阅读量2.3k 收藏 31
点赞数 21
分类专栏： LLM 自然语言处理 文章标签： qwen qwen2 qwen1.5 微调 pytorch
于 2024-04-02 18:46:58 首次发布
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/rensihui/article/details/137282892
版权

Qwen1.5-SFT

Qwen1.5-SFT(阿里, Ali), Qwen_Qwen1.5-2B-Chat/Qwen_Qwen1.5-7B-Chat微调(transformers)/LORA(peft)/推理

项目地址

备注

1. 非常重要: weights要用bfloat16/fp32/tf32(第二版大模型基本共识), 不要用fp16, fp16会特别容易loss=NAN;
2. SFT最好还是像预训练那样, input/output都计算loss;
2. transformers需要4.37.0及以上;
3. qwen1.5, 0.5/1.8/4/7B模型的词典大小为151936(可以除以128), 14/72B模型的字典大小为152064(可以除以256); 多语言版本, 包含繁/简体;
4. qwen1.5网络架构同Llama; 
5. prompt:
   5.1 标准格式为: 
text_input + text_output + <|endoftext|>
   5.2 prompt格式为: 
<|im_start|>system
{text_prompt}<|im_end|>
<|im_start|>user
{text_input}
<|im_end|>
<|im_start|>assistant
{text_output}
<|im_end|>
6 微调输入输出:
    输入："<|im_start|>system\n{text_prompt}<|im_end|>\n<|im_start|>user\n{text_input}\n<|im_end|>"
    输出："<|im_start|>assistant\n{text_output}\n<|im_end|>"
7 推理输入输出(assistant\n放置位置不同):
    输入："<|im_start|>system\n{text_prompt}<|im_end|>\n<|im_start|>user\n{text_input}\n<|im_end|>\n<|im_start|>assistant"
    输出："{text_output}\n<|im_end|>"
8. 网络各层名称
('base_model.model.model.embed_tokens.weight', torch.bfloat16, False)
('base_model.model.model.layers.31.self_attn.q_proj.weight', torch.bfloat16, False)
('base_model.model.model.layers.31.self_attn.q_proj.bias', torch.bfloat16, False)
('base_model.model.model.layers.31.self_attn.q_proj.lora_A.default.weight', torch.float32, True)
('base_model.model.model.layers.31.self_attn.q_proj.lora_B.default.weight', torch.float32, True)
('base_model.model.model.layers.31.self_attn.k_proj.weight', torch.bfloat16, False)
('base_model.model.model.layers.31.self_attn.k_proj.bias', torch.bfloat16, False)
('base_model.model.model.layers.31.self_attn.k_proj.lora_A.default.weight', torch.float32, True)
('base_model.model.model.layers.31.self_attn.k_proj.lora_B.default.weight', torch.float32, True)
('base_model.model.model.layers.31.self_attn.v_proj.weight', torch.bfloat16, False)
('base_model.model.model.layers.31.self_attn.v_proj.bias', torch.bfloat16, False)
('base_model.model.model.layers.31.self_attn.v_proj.lora_A.default.weight', torch.float32, True)
('base_model.model.model.layers.31.self_attn.v_proj.lora_B.default.weight', torch.float32, True)
('base_model.model.model.layers.31.self_attn.o_proj.weight', torch.bfloat16, False)
('base_model.model.model.layers.31.mlp.gate_proj.weight', torch.bfloat16, False)
('base_model.model.model.layers.31.mlp.up_proj.weight', torch.bfloat16, False)
('base_model.model.model.layers.31.mlp.down_proj.weight', torch.bfloat16, False)
('base_model.model.model.layers.31.input_layernorm.weight', torch.bfloat16, False)
('base_model.model.model.layers.31.post_attention_layernorm.weight', torch.bfloat16, False)
('base_model.model.model.norm.weight', torch.bfloat16, False)
('base_model.model.lm_head.weight', torch.bfloat16, False)
9. RuntimeError: unscale_() has already been called on this optimizer since the last update().
    微调语料太少导致的

环境配置

transformers>=4.37.0
torch>=1.11.0
safetensors>=0.4.1
accelerate==0.27.1
fsspec==2023.9.2
rouge==1.0.1
nltk==3.6.6
peft>=0.2.0
numpy
tqdm

微调

地址: qwen2_sft/ft_qwen2

配置: qwen2_sft/ft_qwen2/config.py
训练: python train.py
推理: python predict.py
验证: python evaluation.py
接口: python post_api.py

数据集-中文

参考/感谢

微调日志-advgen

默认的bf16可微调, 最好也计算全部loss(同pt, input/output)

在这里插入图片描述

fp16损失函数就为nan, image_advgen_loss_nan_7b_3e4_constranr_bs4_fp16

在这里插入图片描述

fp16细调超参数偶尔训练成功但loss很高, image_advgen_dev_success_7b_2e5_cosine_bs2_fp16

在这里插入图片描述

推理日志-advgen

('base_model.model.base_model.model.model.layers.31.self_attn.k_proj.bias', torch.float16, False, tensor([ 0.1016, -0.0640,  0.1729,  ..., -1.0312, -0.0028,  0.3477],
       device='cuda:0', dtype=torch.float16))
('base_model.model.base_model.model.model.layers.31.self_attn.k_proj.lora_A.default.weight', torch.float16, False, tensor([[-0.0045, -0.0027,  0.0057,  ...,  0.0131,  0.0074, -0.0049],
        [-0.0049,  0.0048, -0.0067,  ...,  0.0118,  0.0080, -0.0105],
        [-0.0052,  0.0086,  0.0070,  ..., -0.0102, -0.0005,  0.0166],
        ...,
        [-0.0097, -0.0158, -0.0116,  ...,  0.0051,  0.0046,  0.0015],
        [-0.0148,  0.0001, -0.0152,  ...,  0.0063,  0.0139,  0.0026],
        [-0.0092,  0.0036,  0.0003,  ..., -0.0082,  0.0063, -0.0058]],
       device='cuda:0', dtype=torch.float16))
('base_model.model.base_model.model.model.layers.31.self_attn.k_proj.lora_B.default.weight', torch.float16, False, tensor([[ 1.2102e-03,  1.9951e-03, -2.2488e-03,  ...,  1.2598e-03,
         -1.4429e-03, -2.0466e-03],
        [-5.9128e-05,  4.4274e-04,  1.4553e-03,  ..., -1.9350e-03,
         -8.8406e-04,  1.9855e-03],
        [ 1.5755e-03,  2.3174e-03, -2.6073e-03,  ..., -4.1466e-03,
         -2.8076e-03,  6.1464e-04],
        ...,
        [-1.5554e-03, -3.0460e-03,  4.4136e-03,  ...,  3.6411e-03,
          6.6280e-04,  5.5790e-04],
        [-1.5869e-03, -1.6050e-03, -1.0443e-03,  ...,  6.1393e-06,
          1.7271e-03, -1.2022e-04],
        [-3.7169e-04,  6.4754e-04,  7.2241e-04,  ...,  4.6730e-04,
          7.0667e-04, -1.1092e-04]], device='cuda:0', dtype=torch.float16))
......
('base_model.model.base_model.model.lm_head.weight', torch.float16, False, tensor([[ 0.0095, -0.0017, -0.0134,  ...,  0.0036,  0.0232, -0.0112],
        [ 0.0089, -0.0062,  0.0004,  ..., -0.0079,  0.0175, -0.0098],
        [ 0.0055,  0.0182,  0.0088,  ...,  0.0059,  0.0034, -0.0164],
        ...,
        [-0.0034, -0.0049,  0.0033,  ..., -0.0022, -0.0066,  0.0031],
        [-0.0034, -0.0071,  0.0032,  ..., -0.0022, -0.0066,  0.0013],
        [-0.0034, -0.0049,  0.0033,  ..., -0.0016, -0.0066,  0.0020]],
       device='cuda:0', dtype=torch.float16))
trainable params: 0 || all params: 7733907456 || trainable%: 0.0
151645
151644
151645
1699
872
8948
{'instruction': '类型#裙*版型#宽松*版型#显瘦*颜色#黑色*图案#撞色*裙型#直筒裙*裙款式#拼接', 'input': '', 'output': ''}
tensor([[151644,   8948,    198,   2610,    525,    264,  10950,  17847,     13,
         151645,    198, 151644,    872,    198,  31905,      2, 102807,      9,
          40301,  24300,      2, 109285,      9,  40301,  24300,      2,  99580,
         102372,      9, 102284,      2, 104723,      9, 108108,      2, 101340,
          38035,      9, 102807,  24300,      2,  73145, 106000, 102807,      9,
         102807, 108756,      2, 100278,  29077, 151645,    198, 151644,  77091]],
       device='cuda:0')
<|im_start|>system
You are a helpful assistant.<|im_end|>
<|im_start|>user
类型#裙*版型#宽松*版型#显瘦*颜色#黑色*图案#撞色*裙型#直筒裙*裙款式#拼接<|im_end|>
<|im_start|>assistant宽松显瘦的黑色直筒裙是女性衣橱里必不可少的单品，这款裙子采用经典的黑色调，十分显瘦显腿长。裙摆处采用撞色的拼接设计，增添层次感的同时又不失时尚气息。裙型采用直筒裙的版型，更加修饰腿型，遮肉效果极佳。无论是职场还是休闲都能轻松驾驭，轻松展现女性的优雅气质。<|im_end|>
请输入:
类型#上衣*材质#棉*颜色#白色*风格#休闲*图案#刺绣*衣样式#衬衫*衣领型#尖领*衣袖长#七分袖
请稍等...
################################################################################################################################
{'instruction': '类型#上衣*材质#棉*颜色#白色*风格#休闲*图案#刺绣*衣样式#衬衫*衣领型#尖领*衣袖长#七分袖', 'input': '', 'output': ''}
tensor([[151644,   8948,    198,   2610,    525,    264,  10950,  17847,     13,
         151645,    198, 151644,    872,    198,  31905,      2,  17447,  99741,
              9, 106149,      2, 102430,      9, 102284,      2, 102440,      9,
         104040,      2, 104443,      9, 108108,      2, 100253, 103084,      9,
          99741, 112453,      2, 113727,      9,  99741,  99213,  24300,      2,
         100512,  99213,      9,  99741, 102885,  45861,      2,  99612,  17177,
         102885, 151645,    198, 151644,  77091]], device='cuda:0')
<|im_start|>system
You are a helpful assistant.<|im_end|>
<|im_start|>user
类型#上衣*材质#棉*颜色#白色*风格#休闲*图案#刺绣*衣样式#衬衫*衣领型#尖领*衣袖长#七分袖<|im_end|>
<|im_start|>assistant这款白色刺绣休闲衬衫采用优质的纯棉材质，亲肤透气，穿着舒适亲肤。经典的尖领设计，修饰脸型，展现个性风格。七分袖的设计，既能凸显出修长的手型，又能带来一丝休闲的韵味。精致的刺绣图案，层次丰富，细节精致，凸显出独特的个性品味。这款衬衫无论是日常出街还是职场穿搭，都能展现出独特的休闲风格。<|im_end|>
27.06706738471985
请输入:
类型#裙*版型#显瘦*材质#牛仔布*风格#复古*风格#性感*图案#复古*裙型#牛仔裙*裙型#包臀裙*裙下摆#开叉*裙下摆#毛边*裙长#半身裙
请稍等...
################################################################################################################################
{'instruction': '类型#裙*版型#显瘦*材质#牛仔布*风格#复古*风格#性感*图案#复古*裙型#牛仔裙*裙型#包臀裙*裙下摆#开叉*裙下摆#毛边*裙长#半身裙', 'input': '', 'output': ''}
tensor([[151644,   8948,    198,   2610,    525,    264,  10950,  17847,     13,
         151645,    198, 151644,    872,    198,  31905,      2, 102807,      9,
          40301,  24300,      2,  99580, 102372,      9, 106149,      2, 100664,
         102437,  51827,      9, 104040,      2, 111455,      9, 104040,      2,
         110803,      9, 108108,      2, 111455,      9, 102807,  24300,      2,
         100664, 102437, 102807,      9, 102807,  24300,      2,  67279, 117318,
         102807,      9, 102807,  16872, 100805,      2,  29767, 102940,      9,
         102807,  16872, 100805,      2,  99676,  99319,      9, 102807,  45861,
              2,  99369,  95256, 102807, 151645,    198, 151644,  77091]],
       device='cuda:0')
<|im_start|>system
You are a helpful assistant.<|im_end|>
<|im_start|>user
类型#裙*版型#显瘦*材质#牛仔布*风格#复古*风格#性感*图案#复古*裙型#牛仔裙*裙型#包臀裙*裙下摆#开叉*裙下摆#毛边*裙长#半身裙<|im_end|>
<|im_start|>assistant这款牛仔裙采用了复古风格的设计，十分的复古又有性感的感觉。牛仔布的材质十分的柔软亲肤，而且牛仔的风格十分的显瘦，很好的修饰身材线条，凸显出女性的优雅气质。这款半身裙的设计十分的别致，裙摆处采用开叉的设计，十分的个性时尚，凸显出女性的个性魅力。裙摆处采用毛边的设计，十分的个性时尚，而且层次感十足，凸显出女性的优雅气质。而且这款半裙还是包臀裙的设计，很好的修饰出女性的身材线条，凸显出女性的优雅气质
14.573514223098755
请输入:
类型#裤*材质#牛仔布*颜色#白色*风格#简约*图案#线条*裤长#短裤*裤型#阔腿裤*裤腰型#高腰*裤口#毛边
请稍等...
################################################################################################################################
{'instruction': '类型#裤*材质#牛仔布*颜色#白色*风格#简约*图案#线条*裤长#短裤*裤型#阔腿裤*裤腰型#高腰*裤口#毛边', 'input': '', 'output': ''}
tensor([[151644,   8948,    198,   2610,    525,    264,  10950,  17847,     13,
         151645,    198, 151644,    872,    198,  31905,      2, 102693,      9,
         106149,      2, 100664, 102437,  51827,      9, 102284,      2, 102440,
              9, 104040,      2, 109962,      9, 108108,      2, 108236,      9,
         102693,  45861,      2,  99534, 102693,      9, 102693,  24300,      2,
         100607, 100447, 102693,      9, 102693, 102113,  24300,      2,  44636,
         102113,      9, 102693,  39426,      2,  99676,  99319, 151645,    198,
         151644,  77091]], device='cuda:0')
<|im_start|>system
You are a helpful assistant.<|im_end|>
<|im_start|>user
类型#裤*材质#牛仔布*颜色#白色*风格#简约*图案#线条*裤长#短裤*裤型#阔腿裤*裤腰型#高腰*裤口#毛边<|im_end|>
<|im_start|>assistant这款牛仔裤的设计风格十分简约，线条流畅，十分显瘦，而且高腰的设计十分拉长腿型，显高显瘦。裤子采用了白色的色系，十分清新甜美，而且十分百搭。阔腿裤的版型十分修饰腿型，十分显腿长，而且十分遮肉显瘦。裤脚采用了毛边的设计，十分复古有个性，而且十分甜美可爱。这款牛仔短裤十分百搭，而且十分显腿长，而且十分显瘦，而且十分甜美甜美，十分凸显青春活力的气息。<|im_end|>
22.39077615737915
请输入:
类型#裤*版型#显瘦*材质#牛仔布*颜色#深蓝色*裤腰型#高腰
请稍等...
################################################################################################################################
{'instruction': '类型#裤*版型#显瘦*材质#牛仔布*颜色#深蓝色*裤腰型#高腰', 'input': '', 'output': ''}
tensor([[151644,   8948,    198,   2610,    525,    264,  10950,  17847,     13,
         151645,    198, 151644,    872,    198,  31905,      2, 102693,      9,
          40301,  24300,      2,  99580, 102372,      9, 106149,      2, 100664,
         102437,  51827,      9, 102284,      2,  99194, 105681,      9, 102693,
         102113,  24300,      2,  44636, 102113, 151645,    198, 151644,  77091]],
       device='cuda:0')
<|im_start|>system
You are a helpful assistant.<|im_end|>
<|im_start|>user
类型#裤*版型#显瘦*材质#牛仔布*颜色#深蓝色*裤腰型#高腰<|im_end|>
<|im_start|>assistant这款牛仔裤采用深蓝色的色调，显得沉稳大方，同时也十分的显瘦。高腰的版型更是修饰了腿型，显高显腿长。牛仔布的材质十分的舒适亲肤，而且牛仔的质地也能凸显出个性的感觉，十分的青春活力。无论是日常的休闲搭配，还是职场的职场风格，都能很好的展现出女性的优雅知性。<|im_end|>
8.462041139602661

.<|im_end|>
<|im_start|>user
类型#裤版型#显瘦材质#牛仔布颜色#深蓝色裤腰型#高腰<|im_end|>
<|im_start|>assistant这款牛仔裤采用深蓝色的色调，显得沉稳大方，同时也十分的显瘦。高腰的版型更是修饰了腿型，显高显腿长。牛仔布的材质十分的舒适亲肤，而且牛仔的质地也能凸显出个性的感觉，十分的青春活力。无论是日常的休闲搭配，还是职场的职场风格，都能很好的展现出女性的优雅知性。<|im_end|>
8.462041139602661


希望对你有所帮助!
Macropodus
关注
  • 21
    点赞
  • 踩
  • 31
    收藏
    觉得还不错? 一键收藏
  • 0
    评论
专栏目录
五步炼丹，qwen通义千问1.5版本微调实战
IT大头的博客
03-15 1万+
通用千问微调，lora微调，qwen1.5微调，通义千问1.5微调，最近阿里大模型通义千问qwen推出了1.5版本的开源模型，涉及了0.5B, 1.8B, 4B, 7B, 14B, 及72b在内的多种参数模型与量化模型因此本篇文章是基于一个开源大模型微调训练工具包使用lora对qwen1.5的，但是对于每个人的机器配置以及cuda环境，可能会导致一些问题，如果遇到问题可以发在评论区，大家一起研究，同时测试数据我放到下面了，需要的自行获取。
【通义千问】大模型Qwen GitHub开源工程学习笔记（5）-- 模型的微调【全参数微调】【LoRA方法】【Q-LoRA方法】
weixin_46481662的博客
01-07 2464
注意，如果你使用预训练模型进行LoRA微调，而非chat模型，模型的embedding和输出层的参数将被设为可训练的参数。秩分解矩阵可以看作是一种特殊的调料，它可以改变模型的行为，使模型更好地适应新的任务，但并不会改变原有的食材（即预训练模型的权重）。相比之下，LoRA将预训练模型的权重冻结，并在转换器架构的每一层注入可训练的秩分解矩阵。这意味着在这种方法中，原始的预训练权重 W 是固定的，不会在后续的训练过程中进行更新，而是只对 A 和 B 进行训练。在全参数微调中，所有的模型参数都会被重新训练。
Qwen2大模型微调入门实战（完整代码）
SoulmateY的博客
06-09 6468
是通义千问团队的开源大语言模型，由阿里云通义实验室研发。以Qwen2作为基座大模型，通过指令微调的方式实现高准确率的文本分类，是学习的入门任务。指令微调是一种通过在由（指令，输出）对组成的数据集上进一步训练LLMs的过程。其中，指令代表模型的人类指令，输出代表遵循指令的期望输出。这个过程有助于弥合LLMs的下一个词预测目标与用户让LLMs遵循人类指令的目标之间的差距。在这个任务中我们会使用模型在数据集上进行指令微调任务，同时使用SwanLab进行监控和可视化。本教程参考了。
(Qwen)通义千问大模型安装部署教程2024最新
m0_74077233的博客
05-14 4367
通义千问大模型安装部署教程2024最新
AI大模型企业应用实战：Prompt让LLM理解知识
2401_84204413的博客
06-25 1194
• 能够完成时下热门大模型垂直领域模型训练能力，提高程序员的编码能力： 大模型应用开发需要掌握机器学习算法、深度学习框架等技术，这些技术的掌握可以提高程序员的编码能力和分析能力，让程序员更加熟练地编写高质量的代码。• 基于大模型和企业数据AI应用开发，实现大模型理论、掌握GPU算力、硬件、LangChain开发框架和项目实战技能， 学会Fine-tuning垂直训练大模型（数据准备、数据蒸馏、大模型部署）一站式掌握；第五阶段： 大模型微调开发借助以大健康、新零售、新媒体领域构建适合当前领域大模型；
Qwen2大模型微调入门实战（附完整代码）
m0_59235699的博客
06-25 1678
大模型指令微调（Instruction Tuning）是一种针对大型预训练语言模型的微调技术，其核心目的是增强模型理解和执行特定指令的能力，使模型能够根据用户提供的自然语言指令准确、恰当地生成相应的输出或执行相关任务。指令微调特别关注于提升模型在遵循指令方面的一致性和准确性，从而拓宽模型在各种应用场景中的泛化能力和实用性。在实际应用中，我的理解是，指令微调更多把LLM看作一个更智能、更强大的传统NLP模型（比如Bert），来实现更高精度的文本预测任务。
阿里qwen微调
ShengFangZaiXiaMo的博客
04-22 1293
阿里qwen大模型微调
Qwen2大语言模型微调、导出、部署实践
liguiyuan的博客
06-16 1548
上篇文章：我们介绍了Qwen1.5 大语言模型使用LLaMA-Factory 来微调，这篇文章我们介绍一下微调后模型的导出、部署。
只需30分钟，微调阿里 Qwen2-7B，搭建专属 AI 客服
weixin_43829633的博客
06-07 1762
LLaMA-Factory 在data文件夹中提供了多个训练数据集示例，支持alpaca或sharegpt格式，不过我这里使用的是自己提前导出来做过处理的自定义数据集。自定义数据集选用alpaca因为我只有标注后的问答对，所以只需要填充和output部分即可，下面是部分数据，保存为 bajigo.json，并上传到 LLaMA-Factory 的 data 目录下。"instruction": "我能建两份菜单然后自行切换吗","output": "你好，暂不支持同时创建多个菜单。
Qwen2 阿里最强开源大模型（Qwen2-7B）本地部署、API调用和WebUI对话机器人
老牛啊
06-12 5116
阿里云正式开源通义千问Qwen2系列模型，其中Qwen2-72B成为全球性能最强的开源模型，在全球权威测评中，性能超过美国最强开源模型Llama3-70B，也超过文心4.0、豆包pro、混元pro等众多中国闭源大模型。今天老牛同学部署和体验Qwen2-7B中等尺寸模型，包括本地部署、API嗲用和WebUI对话客户端……
算法部署-使用TensorRT-LLM部署通义千问Qwen-7B大模型-附详细优化+分析流程教程-优质大模型部署项目实战.zip
03-06
算法部署_使用TensorRT-LLM部署通义千问Qwen-7B大模型_附详细优化+分析流程教程_优质大模型部署项目实战
Qwen-VL 远程GPU服务器部署实战
07-14
Qwen-VL 远程GPU服务器部署实战
大语言模型的微调和推理-baichuan7B, chatglm2-6B, Qwen-7B-chat.zip
04-22
大语言模型的微调和推理——baichuan7B, chatglm2-6B, Qwen-7B-chat.zip微调：基于nation-gpt-ie.json文件进行微调，微调代码见baichuan_sft.py文件 推断：微调代码见baichuan_infer.py文件,给出一个示例如下 微调...
大模型部署-基于TensorRT-LLM部署Qwen1.5大语言模型-附项目源码+流程教程-优质项目实战.zip
07-26
大模型部署_基于TensorRT-LLM部署Qwen1.5大语言模型_附项目源码+流程教程_优质项目实战
大模型部署-将Qwen1.5大语言模型导出为ONNX或TFlite-附项目源码+流程教程-优质项目实战.zip
最新发布
07-26
大模型部署_将Qwen1.5大语言模型导出为ONNX或TFlite_附项目源码+流程教程_优质项目实战
通义千问2(Qwen2)大语言模型在PAI-QuickStart的微调、评测与部署实践
科技很有意思
06-14 1835
快速开始（PAI-QuickStart）是阿里云人工智能平台PAI的产品组件，它集成了国内外 AI 开源社区中优质的预训练模型，涵盖了包括大语言模型，文本生成图片、语音识别等各个领域。通过 PAI 对于这些模型的适配，用户可以通过零代码和 SDK 的方式实现从训练到部署再到推理的全过程，大大简化了模型的开发流程，为开发者和企业用户带来了更快、更高效、更便捷的 AI 开发和应用体验。
使用DPO微调大模型Qwen2详解
weixin_43013480的博客
06-10 1571
基于人类反馈的强化学习 (Reinforcement Learning from Human Feedback，RLHF) 事实上已成为 GPT-4 或 Claude 等 LLM 训练的最后一步，它可以确保语言模型的输出符合人类在闲聊或安全性等方面的期望。但传统的RLHF比较复杂，且还需要奖励模型，故DPO方法被提出，其将现有方法使用的基于强化学习的目标转换为可以通过简单的二元交叉熵损失直接优化的目标，这一做法大大简化了 LLM 的提纯过程。
[大模型]Qwen2-7B-Instruct Lora 微调
FL1623863129的博客
06-15 2083
LoraConfig这个类中可以设置很多参数，但主要的参数没多少，简单讲一讲，感兴趣的同学可以直接看源码。task_type：模型类型：需要训练的模型层的名字，主要就是attention部分的层，不同的模型对应的层的名字不同，可以传入数组，也可以字符串，也可以正则表达式。rlora的秩，具体可以看Lora原理lora_alphaLora alaph，具体作用参见Lora原理Lora的缩放是啥嘞？当然不是r（秩），这个缩放就是, 在这个LoraConfig中缩放就是4倍。
qwen-7b 部署
12-22
qwen-7b部署是一项复杂的流程，需要经过多个步骤和严格的规划。首先，需要确定部署的目标和需求，明确要部署的系统或应用程序的功能和性能要求。其次，需要准备好适当的硬件设备和软件工具，确保系统能够正常运行并满足需求。接下来，需要进行系统配置和安装，包括网络设置、数据库配置、安全设置等，确保系统能够稳定运行并保护数据安全。然后，需要进行系统测试，包括功能测试、性能测试、安全测试等，确保系统能够正常运行并满足用户需求。最后，需要进行系统上线和监控，确保系统能够稳定运行并及时发现和解决问题。在整个部署过程中，需要密切合作和沟通，确保各个部门和团队能够紧密配合，顺利完成部署任务。同时，还需要及时记录和更新部署文档，以便日后维护和升级。总之，qwen-7b部署是一项需要严谨规划和细致执行的工作，只有确保每一个环节都得到认真对待，才能够顺利完成部署任务。
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值