本地部署自己的大语言模型

为大家推荐一个贫民化的本地部署大语言模型工具RWKV，具体下载步骤可以参考梦落の小屋大佬的步骤低显存可跑的本地大语言模型RWKV体验 - 梦落の小屋​​​​​​。

我们这里简单介绍一下

本人电脑配置较低，所以下载了一个最低配置的大语言模型。但是运行的时候还是有些乱码。实际的运行配置要高于模型要求的配置所以大家可以在设置里面调节运行参数。

总体体验感较差，但是我觉得跟软件本身没啥关系，主要我的电脑配置达不到要求，但是他给想我这样的贫民提供了本地部署大语言模型的可能，点赞一波。