百川大模型部署排错实战笔记

AI算法网奇

已于 2024-01-04 21:59:12 修改

阅读量543

点赞数 8

分类专栏：深度学习宝典文章标签：笔记

于 2024-01-03 02:19:37 首次发布

本文链接：https://blog.csdn.net/jacke121/article/details/135353458

版权

深度学习宝典专栏收录该内容

该专栏为热销专栏榜第98名

983 篇文章 708 订阅 ¥29.90 ¥99.00

订阅专栏

超级会员免费看

本文记录了在Windows 11和Linux系统上部署百川大模型的实战经验，包括模型下载、依赖安装（如bitsandbytes、triton、auto_gptq）过程中遇到的问题及解决方案。在0.41.2版本的bitsandbytes中出现AttributeError，通过更换版本或修改源代码解决。在Linux环境下，提供了相关参考资料。最终成功实现模型的在线体验。

摘要由CSDN通过智能技术生成

测试成功代码：

import torch
from modelscope import snapshot_download, AutoModelForCausalLM, AutoTokenizer,GenerationConfig
from transformers import BitsAndBytesConfig

quantization_config = BitsAndBytesConfig(
    False,
    True,
    bnb_4bit_compute_dtype=torch.bfloat16,
    bnb_4bit_quant_type='nf4',
    bnb_4bit_use_double_quant=True)
model_dir = snapshot_download("baichuan-inc/Baichuan2-13B-Chat", revision='v2.0.0')
tokenizer = AutoTokenizer.from_pretrained(model_dir, device_map="auto", 
                              trust_remote_code=True, torch_dtype=torch.float16)
model = AutoModelForCausalLM.from_pretrained(model_dir, device_map="auto", 
                              trust_remote_code=True, torch_dtype=torch.fl