私有化本地GPT：万字使用指南（附下载）

近万字的本地LLM使用教程。

百度网盘下载：使用指南PDF、应用安装包和模型。

有需要的朋友可以在公众号留言“指南”获取下载链接。

一笔经济账：

如果未来我们让电脑每天都来帮忙我们整理和分析最新的信息，那我们一天需要多少Token？

假设一篇文档大概需要4000Token，LLM一轮输出400 Token，那么10轮交互下来最少需要5W Token，20篇那就消耗了100W Token；

如果需要跟之前的文档进行交叉比较和深度分析，假设库里有100篇文章，那一天需要消耗1亿Token，如果是用GPT4来分析文档大概每天最少需要1000美元（当然这是粗略的计算，而且前提是没有其他技术的加持）。

这个真的不是危言耸听，如果你让AI帮你定期浏览和总结最新的信息，那每天肯定不止20篇；假设每天加上好几篇大约几万字的论文...长期下来这个Token的消耗会是指数级的暴涨。

除此之外，我们也不放心将自己的重要文档上传（送？）到服务器导致信息泄露，所以我觉得使用本地LLM来处理自己的文件是唯一、低成本且安全的解决方案。

为了能让更多朋友在使用本地LLM时少踩坑，这份文档会包括本地LLM的优缺点、现在市面上有哪些可以开箱即用的产品，以及哪些模型是可用的（这里我已经浪费了上百GB魔法来体验模型...），其余章节会陆续更新。

这份使用指南已经放在Github并采用MIT开源方式（求Star，求Star，求Star），欢迎有本地LLM使用经验的朋友一起交流和共创。

Github：https://github.com/xue160709/Local-LLM-User-Guideline

Discord：https://discord.gg/4AQuf2ctav

由于指南太长，我就不贴在公众号了，感兴趣的朋友可以上Github阅读，如果没魔法或者想保存一份文档可以到网盘下载（在公众号留言“指南”获取网盘链接）。

最后，如果你想一起交流LLM使用感受欢迎加入我们的微信群或者Discord（在Discord里最好是用英文交流）

推荐阅读

如何高效低成本收集、整理和理解信息？

我的第一个创业项目：MiX Copilot 3.0正式上线

重新理解Intelligence