Qwen-72b单卡运行

最近在部署qwen-72b时，发现这个小意外。仅通过一张4090就可以运行qwen-72b全量化版本。
仅作为分享以及参考，如造成显卡烧坏等问题，后果自负！！！！
正文，环境情况

• NVIDIA-SMI 535.113.01
• Driver Version:535.113.01
• CUDA Version:12.2
  

显卡默认一张卡哈，其实有多张。
硬盘存储，需要大家自行支持qwen-72b 大约1.5t
基础python环境（包含pytorch等）
，采用xiference 进行部署（未来会单独出一期或者大家直接参考网站说明）。
简单介绍一下部署，
1.安装nvidai驱动（我记得写过，没有得话参考其他大佬的分享）
2.安装miniconda (个人觉得比Adconda好用一些，只是管理虚拟环境用不到其他功能)
3.创建虚拟环境（简写）
激活base环境，安装完存在没激活的情况。

conda activate base

创建虚拟环境，这里选择python3.10哈，基本上支持所有关于大模型操作。感觉很稳定。

conda create -n xinference python=3.10

需要自行键入 一个 Y .
切换虚拟环境

conda activate xinference

4.安装xinference
Xinference 在 Linux, Windows, MacOS 上都可以通过 pip 来安装。如果需要使用 Xinference 进行模型推理，可以根据不同的模型指定不同的引擎。
如果你希望能够推理所有支持的模型，可以用以下命令安装所有需要的依赖：

pip install "xinference[all]"

如果你想使用 GGML 格式的模型，建议根据当前使用的硬件手动安装所需要的依赖，以充分利用硬件的加速能力。
如果你只想安装必要的依赖，接下来是如何操作的详细步骤。

pip install "xinference[transformers]"

5.运行xinference
拉起本地服务
首先，请根据这个 文档 的指导确保本地安装了 Xinference。使用以下命令拉起本地的 Xinference 服务：

xinference-local --host 0.0.0.0 --port 9997

备注:默认情况下，Xinference 会使用 /.xinference 作为主目录来存储一些必要的信息，比如日志文件和模型文件，其中 就是当前用户的主目录。
你可以通过配置环境变量 XINFERENCE_HOME 修改主目录， 比如：

XINFERENCE_HOME=/tmp/xinference xinference-local --host 0.0.0.0 --port 9997

恭喜！你已经在本地拉起了 Xinference 服务。一旦 Xinference 服务运行起来，可以有多种方式来使用，包括使用网页、cURL 命令、命令行或者是 Xinference 的 Python SDK。
6.下载模型
这里支持两种操作，图形化界面或者命令行。
6.1 图形化界面

我们选择发射模型模块，查询qwen-caht model.

看图中配置，也是单卡跑起最重要的原因。gpu数量选择auto(自动选择一张卡进行运行)，原则上可以继续跑其他的模型.
6.2 命令行
在图形化界面的基础上，原因在上面。
直接介绍命令
xinference launch --model-name qwen-chat --size-in-billions 72 --model-format pytorch --quantization none --n-gpu 8
和上图的配置基本一致。
7.运行模型
在下载模型的同时，当模型结束下载，自动拉起model.你可以通过openai的调用方法进行访问qwen-72b。当然速度很慢很慢。
注意：这只是分享，一定要量力而行！！！！！