本地化部署AI语言模型RWKV指南，ChatGPT顿时感觉不香了。

之前由于ChatGpt处处受限，又没法注册的同学们有福了，我们可以在自己电脑上本地化部署一套AI语言模型，且对于电脑配置要求也不是非常高，对它就是RWKV。

关于RWKV

RWKV是一个开源且允许商用的大语言模型，灵活性很高且极具发展潜力，它是一种纯 RNN 的架构，能够进行语言建模，目前最大参数规模已经做到了 14B，该模型训练由Stability赞助。本文发布时RWKV在GitHub上已获得7.8k stars，还在迅速增长中。

RWKV官方仓库：https://github.com/BlinkDL/RWKV-LM

RWKV-Runner

开源仓库地址：https://github.com/josStorer/RWKV-Runner
下载地址（RWKV目录）：https://pan.baidu.com/s/1wchIUHgne3gncIiLIeKBEQ?pwd=1111

RWKV-Runner是RWKV的管理和启动工具，由大神 国服第一海豹 制作并开源，它旨在降低大语言模型的使用门槛，做到人人可用，提供了全自动化的依赖和模型管理，你只需要直接点击运行，跟随引导，即可完成本地大语言模型的部署，工具本身体积极小，只需要一个exe即可完成一键部署。

此外，RWKV也提供了与OpenAI API完全兼容的接口，这意味着你可以把任意ChatGPT客户端用作RWKV的客户端，实现能力拓展，而不局限于聊天。

项目介绍

部署RWKV

访问 RWKV开源仓库地址

进入 Release 找到最新版1.1.0

下载 RWKV-Runner_windows_x64.exe 文件

将执行程序存放到单独目录中，此目录将作为系统根目录，执行启动器后所有的依赖将安装至此

启动程序，根据自己的PC显卡配置选择语言模型，并点击启动

程序启动后自动安装Python、Pytouch等依赖，以及所选择的模型语言库，等所所有需要的内容都下载完毕后就可以开始体验了，部署就是如此简单。

主页

聊天

补全

配置

模型管理

下载管理

设置

聊天实例

启动中文模型，由于我的笔记本电脑配置并不是很高，只能启用 GPU-4G-7B-CN 这个模型，当看到 模型状态：运行中 变绿时就可以开始提问了。

我简单提了两个问题，计算机在收到问题后开始疯狂的运算，文字输出并不快，移动鼠标会感觉到电脑卡顿，在经过几分钟的等待后，RWKV给出了完整的回答。

介绍一下 linux

Linux是一种开源的操作系统，它具有高度的可定制性和灵活性。Linux可以在多种硬件上运行，包括服务器、个人电脑、移动设备等。Linux被广泛用于Web服务器、嵌入式系统、桌面应用程序等领域。

如何学习Linux

学习Linux的最佳方法是通过阅读相关的书籍和文档，以及参加在线课程和培训。此外，还可以参加Linux社区的活动和讨论，与其他Linux用户交 学习Linux的最佳方法是通过实践和经验积累。以下是一些学习Linux的建议：

阅读文档和手册：Linux的用户手册和官方文档非常详细，它们可以帮助你了解Linux的基本概念、系统组件和命令行工具。
安装Linux操作系统：在学习Linux之前，你需要先安装一个Linux操作系统。你可以选择使用Ubuntu、Debian或Fedora等流行的发行版。
编写Shell脚本：Shell脚本是用于自动化任务的脚本文件，它们可以帮助你更高效地管理服务器和网络设置。
参加社区活动：参加Linux社区活动可以帮助你与其他开发人员交流并学习新技能。
持续学习： Linux是一个不断发展的领域，因此保持对新技术和趋势的关注非常重要。通过阅读技术博客、参加线上课程或与其他开发人员交流来保持对最新技术的了解。
总之，学习Linux需要耐心和时间，但通过不断实践和探索，你将获得更深入的了解和更广泛的应用场景。

整合包

到目前为止 huggingface 应该很多地区都无法访问，导致模型文件无法下载，以下提供本人的一键整合包，解压后直接运行目录下的 RWKV-Runner_windows_x64.exe 启动即可，整合包内包含模型文件

RWKV-4-Raven-7B-v11-Eng49%-Chn49%-Jpn1%-Other1%-20230430-ctx8192.pth

选择的 GPU-4G-7B-CN 启动，也可以在配置页面中行转换后再使用。

链接：https://pan.baidu.com/s/1MqxMQ9hjvZ1ZtQo9RG2QRQ?pwd=36h7 
提取码：36h7