通义千问Qwen-7B、14B安装试用微调笔记

weixin_43973790

于 2024-06-06 16:38:44 发布

阅读量896

点赞数 30

文章标签：笔记 python 语言模型 chatgpt 阿里云

本文链接：https://blog.csdn.net/weixin_43973790/article/details/139502691

版权

1、前言

成为程序员以后，ChatGpt几乎成了不可或缺的工具，慢慢的从面相对象编程成了面相AI编程。自从4.0试体验后，一直想找一个开源可用的大模型自己搭建学习一下。感受一下科技的魅力。

2、通义千问72B试用体验

modelscope提供了多个模型的试用
除了通义72B，还体验了llama3 70b和yi 34b。
72B的数量级在桌面级的电脑上已经很难带起来了，所以还是决定找个算力服务器解决一下

3、搭建服务器试用

首先推荐的就是modelscope试用的里面，无需充值，即可体验36小时GPU服务器（没打广告）
绑定支付宝，每个账号一次，记得不用的时候关闭
我用的是autodl的服务器，autodl,刚开始学习可以按需买，几小时的，不用的时候关机即可

购物服务器

不一定非要这个，我这边试用的是14B和7B的模型，这个显存带宽是够用的！
不同的显存要求在modelscope模型下面介绍都有！

安装python和git环境

这步省略，网上太多了！直接百度即可，记得python版本尽量3.10以上，好用不懵逼

下载通义代码

https://github.com/QwenLM/Qwen
这是git官方地址
通过git clone https://github.com/QwenLM/Qwen.git即可下载

安装指定依赖

cd QwenLm
pip install requirements.txt
pip install requirements_web_demo.txt

安装完指定的依赖

transformers>=4.32.0,<4.38.0
accelerate
tiktoken
einops
transformers_stream_generator==0.0.4
scipy

下载指定模型

Qwen-14B-Chat
git clone https://www.modelscope.cn/qwen/Qwen-14B-Chat.git

尝试运行

通义里面带了通过gradio交互的一个界面
我们只需要修改web_demo.py文件
先讲DEFAULT_CKPT_PATH = 'Qwen-14B-Chat’路径指定到模型的位置
即可通过
python web_demo.py

看到这个访问地址就是启动成功了，首次可能会比较慢

量化

前一步如果你用的也是4090的卡，可能会启动成功，但是只要一问问题就error
这里可以通过量化，减少显存带宽，也会降低相应的精度

官网提供了一系列量化的方式

from transformers import BitsAndBytesConfig
quantization_config = BitsAndBytesConfig(
    load_in_4bit =True,
    bnb_4bit_quant_type='nf4',
    bnb_4bit_compute_dtype=torch.bfloat16
)

找到下面加载模型的地方，加上quantization_config=quantization_config,这行

model = AutoModelForCausalLM.from_pretrained(
        args.checkpoint_path,
        device_map=device_map,
        trust_remote_code=True,
        resume_download=True,
        quantization_config=quantization_config,
    ).eval()

就能重新启动了，如果还是启动失败，可以尝试换个更小的模型尝试，7B