AirLLM 技术文档

AirLLM 技术文档

Anima 33B Chinese LLM, DPO QLORA, 100K context, AirLLM 70B inference with single 4GB GPU 项目地址: https://gitcode.com/gh_mirrors/an/Anima

1. 安装指南

1.1 环境要求

• 操作系统: 支持 Linux、MacOS 和 Windows。
• GPU: 最低要求 4GB VRAM，推荐 8GB VRAM 以支持更大模型的推理。
• Python: 版本 3.7 或更高。

1.2 安装步骤

1. 克隆项目仓库

   git clone https://github.com/lyogavin/airllm.git
   cd airllm
   

2. 安装依赖

   pip install -r requirements.txt
   

3. 验证安装

   python -c "import airllm; print(airllm.__version__)"
   

2. 项目使用说明

2.1 基本使用

AirLLM 旨在优化大语言模型的推理内存使用，使得在单张 4GB GPU 卡上也能运行 70B 参数的模型。以下是一个基本的使用示例：

from airllm import AirLLM

# 初始化模型
model = AirLLM(model_name="70B")

# 进行推理
output = model.infer("你好，世界！")
print(output)

2.2 高级使用

AirLLM 支持在 8GB VRAM 的 GPU 上运行 405B 参数的 Llama3.1 模型。以下是一个高级使用示例：

from airllm import AirLLM

# 初始化 Llama3.1 模型
model = AirLLM(model_name="405B_Llama3.1")

# 进行推理
output = model.infer("这是一个高级示例。")
print(output)

3. 项目 API 使用文档

3.1 AirLLM 类

• __init__(self, model_name: str):

  • 参数:
    • model_name: 模型名称，支持 "70B" 和 "405B_Llama3.1"。
  • 返回值: 返回一个 AirLLM 实例。

• infer(self, input_text: str):

  • 参数:
    • input_text: 输入文本。
  • 返回值: 返回模型的推理结果。

3.2 示例代码

from airllm import AirLLM

model = AirLLM(model_name="70B")
output = model.infer("你好，AirLLM！")
print(output)

4. 项目安装方式

4.1 通过 pip 安装

pip install airllm

4.2 通过源码安装

git clone https://github.com/lyogavin/airllm.git
cd airllm
pip install .

---

通过以上步骤，您可以顺利安装并使用 AirLLM 项目。如有任何问题，请参考项目 GitHub 仓库 或提交 Issue。

Anima 33B Chinese LLM, DPO QLORA, 100K context, AirLLM 70B inference with single 4GB GPU 项目地址: https://gitcode.com/gh_mirrors/an/Anima