AI00 RWKV Server：一个强大而灵活的本地化AI服务器

AI00 RWKV Server简介

AI00 RWKV Server是一个基于RWKV（Receptance Weighted Key Value）语言模型的本地化AI服务器，它为开发者和企业提供了一个强大而灵活的AI推理解决方案。作为一个开源项目，AI00 RWKV Server在GitHub上获得了广泛关注，截至目前已有超过400颗星标。

核心特性

1. 高性能推理：AI00 RWKV Server基于RWKV模型，具有出色的性能和准确性。

2. Vulkan加速：支持Vulkan并行和并发批处理推理，可在所有支持Vulkan的GPU上运行，包括AMD卡和集成显卡。

3. 轻量级部署：无需庞大的PyTorch、CUDA等运行时环境，体积小巧，开箱即用。

4. API兼容性：兼容OpenAI的ChatGPT API接口，便于开发者快速迁移和集成。

5. 开源可商用：采用MIT许可证，100%开源且可商业使用。

安装与使用

下载预编译可执行文件

1. 从GitHub Release页面下载最新版本。

2. 下载RWKV模型文件，并将其放置在assets/models/目录下。

3. 根据需要修改assets/Config.toml配置文件，设置模型路径、量化层等参数。

4. 在命令行中运行程序。

5. 打开浏览器访问http://localhost:65530（如果启用了TLS，则访问https://localhost:65530）即可使用WebUI界面。

从源码构建（可选）

1. 安装Rust开发环境。

2. 克隆项目仓库：

   git clone https://github.com/cgisky1980/ai00_rwkv_server.git
   cd ai00_rwkv_server
   

3. 下载并放置RWKV模型文件。

4. 编译项目。

5. 运行编译后的程序。

模型转换

AI00 RWKV Server目前支持.st扩展名的Safetensors模型。如果您有使用torch保存的.pth模型，需要先进行转换：

1. 使用提供的Python脚本convert2ai00.py或convert_safetensors.py进行转换。

2. 也可以使用预编译的converter工具进行转换。

3. 将转换后的.st模型文件放置在assets/models/目录下，并在assets/Config.toml中更新模型路径。

API使用指南

AI00 RWKV Server提供了与OpenAI API兼容的接口，包括：

• /api/oai/v1/models
• /api/oai/v1/chat/completions
• /api/oai/v1/completions
• /api/oai/v1/embeddings

开发者可以参考OpenAI的API文档，快速集成AI00 RWKV Server到现有项目中。以下是一个使用Python调用AI00 API的示例：

import openai

class Ai00:
    def __init__(self, model="model", port=65530, api_key="JUSTSECRET_KEY"):
        openai.api_base = f"http://127.0.0.1:{port}/api/oai"
        openai.api_key = api_key
        self.ctx = []
        self.params = {
            "system_name": "System",
            "user_name": "User", 
            "assistant_name": "Assistant",
            "model": model,
            "max_tokens": 4096,
            "top_p": 0.6,
            "temperature": 1,
            "presence_penalty": 0.3,
            "frequency_penalty": 0.3,
            "half_life": 400,
            "stop": ['\x00','\n\n']
        }
    
    # ... (其他方法省略)

    def send_message(self, message, role="user"):
        self.ctx.append({
            "role": role,
            "content": message
        })
        result = openai.ChatCompletion.create(
            model=self.params['model'],
            messages=self.ctx,
            names={
                "system": self.params['system_name'],
                "user": self.params['user_name'],
                "assistant": self.params['assistant_name']
            },
            max_tokens=self.params['max_tokens'],
            half_life=self.params['half_life'],
            top_p=self.params['top_p'],
            temperature=self.params['temperature'],
            presence_penalty=self.params['presence_penalty'],
            frequency_penalty=self.params['frequency_penalty'],
            stop=self.params['stop']
        )
        result = result.choices[0].message['content']
        self.ctx.append({
            "role": "assistant",
            "content": result
        })
        return result

# 使用示例
ai00 = Ai00()
print(ai00.send_message("你好，请介绍一下你自己。"))

高级功能：BNF采样

从v0.5版本开始，AI00 RWKV Server引入了一个独特的功能——BNF（巴科斯-诺尔范式）采样。这个功能允许开发者通过限制模型可选择的下一个词元来强制模型输出特定格式的内容，例如JSON或带有指定字段的Markdown。

以下是一个JSON格式的BNF示例，包含"name"、"age"和"job"字段：

<start> ::= <json_object>
<json_object> ::= "{" <object_members> "}"
<object_members> ::= <json_member> | <json_member> ", " <object_members>
<json_member> ::= <json_key> ": " <json_value>
<json_key> ::= '"' "name" '"' | '"' "age" '"' | '"' "job" '"'
<json_value> ::= <json_string> | <json_number>
<json_string>::='"'<content>'"'
<content>::=<except!([escaped_literals])>|<except!([escaped_literals])><content>|'\"'<content>|'\"'
<escaped_literals>::='\t'|'\n'|'\r'|'"'
<json_number> ::= <positive_digit><digits>|'0'
<digits>::=<digit>|<digit><digits>
<digit>::='0'|<positive_digit>
<positive_digit>::="1"|"2"|"3"|"4"|"5"|"6"|"7"|"8"|"9"

这个功能为开发者提供了更精细的控制，确保AI生成的内容符合特定的结构要求，特别适用于需要严格格式的应用场景。

WebUI界面展示

AI00 RWKV Server不仅提供了强大的API，还配备了直观的WebUI界面，方便用户进行交互和测试。以下是几个主要功能的界面截图：

聊天界面

聊天界面提供了类似ChatGPT的交互体验，用户可以轻松地与AI进行对话。

续写功能

续写功能允许用户输入一段文本开头，AI会自动生成后续内容，适用于创意写作和内容生成场景。

并行推理演示

并行推理演示展示了AI00 RWKV Server强大的并行处理能力，能够同时处理多个任务，提高效率。

未来展望

AI00 RWKV Server团队正在积极开发新功能，未来计划包括：

1. 支持text_completions和chat_completions
2. 支持SSE推送
3. 集成基础前端
4. 通过batch serve实现并行推理
5. 支持int8和NF4量化
6. 支持LoRA模型
7. 支持调优初始状态
8. LoRA模型的热加载和切换
9. 调优初始状态的热加载和切换

这些计划的实现将进一步提升AI00 RWKV Server的性能和功能，为开发者提供更多可能性。

结语

AI00 RWKV Server作为一个强大而灵活的本地化AI服务器，为开发者和企业提供了一个高性能、易用且可定制的AI推理解决方案。通过支持Vulkan加速、兼容OpenAI API、提供直观的WebUI界面等特性，AI00 RWKV Server在保证性能的同时，也大大降低了AI应用开发的门槛。

文章链接：www.dongaigc.com/a/ai-rwkv-server-powerful-flexible
https://www.dongaigc.com/a/ai-rwkv-server-powerful-flexible

https://www.dongaigc.com/p/Ai00-X/ai00_server

www.dongaigc.com/p/Ai00-X/ai00_server