Qwen及Qwen-audio大模型微调项目汇总

可用来微调方法/项目汇总

  1. Qwen github 项目自带的finetune脚本
    可以参考https://blog.csdn.net/qq_45156060/article/details/135153920
  2. PAI-DSW中微调千问大模型(阿里云的一个产品)
    https://gallery.pai-ml.com/#/preview/deepLearning/nlp/qwen_1_8b_chat
    https://zhuanlan.zhihu.com/p/677059792
  3. 魔搭社区的微调框架SWIFT已经支持了Qwen1.5全系列模型的微调和推理
    https://zhuanlan.zhihu.com/p/681662566
  4. Firefly项目微调千问大模型
    https://blog.csdn.net/sinat_37574187/article/details/132107473
    https://github.com/yangjianxin1/Firefly
  5. https://github.com/hiyouga/LLaMA-Efficient-Tuning
    改名了 https://github.com/hiyouga/LLaMA-Factory
  6. 基于llama的高star的github开源项目汇总
    (1)https://github.com/FlagAlpha/Llama2-Chinese
    (2)https://github.com/hiyouga/LLaMA-Efficient-Tuning
    改名了 https://github.com/hiyouga/LLaMA-Factory
    (3)https://github.com/yangjianxin1/Firefly
    (4)https://github.com/LinkSoul-AI/Chinese-Llama-2-7b
    (5)https://github.com/michael-wzhu/Chinese-LlaMA2

以上的项目,目前只有SWIFT框架支持Qwen-audio的微调。

ps.大语言模型基础资料

  1. 大语言模型入门
    https://www.cnblogs.com/yourenbo/p/18060256
  2. 通俗解读大模型微调(主要解释基础概念)
    https://www.wehelpwin.com/article/4231
  3. 大模型微调项目/数据集调研汇总(时间有点早了,早期的模型和项目)
    https://zhuanlan.zhihu.com/p/624079704?utm_id=0
### 微调 QwenAudio 模型 对于希望对特定领域或任务优化 QwenAudio 的用户来说,微调是一种有效的方法。以下是关于参数设置及训练技巧的具体指导。 #### 数据准备 为了获得最佳效果,在开始之前需准备好高质量的数据集。这些数据应尽可能贴近目标应用场景中的实际音频样本[^2]。理想情况下,该数据集应该包含多样化的音频片段以及对应的标注信息或者期望的输出文本形式。 #### 环境配置 确保安装了必要的依赖库,并加载预训练好的QwenAudio模型作为起点。可以利用Hugging Face平台上的资源来获取最新的版本[^1]: ```bash pip install transformers datasets soundfile torch ``` 接着可以从 HuggingFace 加载模型: ```python from transformers import AutoModelForCTC, Wav2Vec2Processor processor = Wav2Vec2Processor.from_pretrained("Qwen/Qwen2-Audio-Instruct-Demo") model = AutoModelForCTC.from_pretrained("Qwen/Qwen2-Audio-Instruct-Demo") ``` #### 参数调整建议 - **学习率 (Learning Rate)**: 初始阶段可尝试较小的学习率(如 5e-5),随着训练进程逐渐降低至更小值。 - **批量大小 (Batch Size)**: 根据硬件条件选择合适的批处理数量;较大的批次有助于加速收敛但可能占用更多内存。 - **迭代次数 (Epochs)**: 对于新任务而言,通常不需要太多epoch就能看到显著改进,具体取决于数据规模和个人需求。 - **梯度累积 (Gradient Accumulation Steps)**: 当单次batch size受限时,可以通过增加此步数间接增大每一步更新的有效样本数目。 #### 训练过程监控 在整个训练过程中密切监视损失函数的变化趋势以及其他性能指标的表现情况非常重要。这不仅帮助判断当前设定是否合理,也能及时发现潜在问题所在。 #### 使用混合精度训练 采用混合精度技术可以在不牺牲准确性的情况下加快计算速度并减少显存消耗。PyTorch 提供了一个简单易用的方式实现这一点: ```python import torch.cuda.amp as amp scaler = amp.GradScaler() for input_values in training_data_loader: with amp.autocast(): outputs = model(input_values=input_values).logits loss = criterion(outputs.view(-1, vocab_size), labels.view(-1)) scaler.scale(loss).backward() scaler.step(optimizer) scaler.update() ``` #### 合理保存检查点 定期保存训练期间的状态快照是非常重要的实践之一,这样即使遇到意外中断也可以从中断处继续而无需重新开始整个流程。 ---
评论
添加红包

请填写红包祝福语或标题

红包个数最小为10个

红包金额最低5元

当前余额3.43前往充值 >
需支付:10.00
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明:

1.余额是钱包充值的虚拟货币,按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载,可以购买VIP、付费专栏及课程。

余额充值