18k star 的开源本地部署大模型利器-Jan，支持启动本地服务

在之前《没有网络限制！超简单本地部署 Llama3 的方法》文章中，有介绍了 LM Studio 这款免费软件，总得来说是很好用的，但是它是闭源的，也不知道后面会不会有一些收费之类的政策，所以我们还需要一个随时可以用来替代它的产品——Jan✨✨

是什么？

Jan 是一个开源的、可作为 ChatGPT 替代品的客户端产品，在 Github 上已经斩获 18k 的 star，它支持：

1. 部署本地大模型：直接在个人电脑上运行 Llama 或 Mistral 等 AI 模型以完成私有化部署。无需互联网连接 - 将所有数据和处理保存在本地。
2. 调用远程 API：支持连接到远程 API，例如 OpenAI、Groq 或 Mistral API。无需高级硬件即可访问 AI 功能，所有处理均在云端处理。
3. 100% 离线使用：哪怕没网，也能流畅使用，一切数据都只保留在个人电脑上。
4. 跨平台：支持 Apple Intel、Linux Debian 和 Windows x64 以及 Apple M 系列。
5. 扩展：属于高级玩儿法，可以自定义 Jan 来满足特定需求。

它的安装及使用十分简单，哪怕是一个 AI 小白，也可以轻松实现在自己电脑上部署本地大模型。接下来让我们一起来看看如何安装它并部署模型吧～

安装

• 进入到它的官网选择适合自己电脑系统的安装包进行下载（以三金的电脑为例，下载 Mac M 系列可用的安装包进行安装）

• 安装好之后打开 Jan 可以看到它的界面比 LM Studio 更清爽一些，在对话的窗口则都长得差不多

【一一AGI大模型学习 所有资源获取处一一】

①人工智能/大模型学习路线

②AI产品经理资源合集

③200本大模型PDF书籍

④超详细海量大模型实战项目

⑤LLM大模型系统学习教程

⑥640套-AI大模型报告合集

⑦从0-1入门大模型教程视频

⑧LLM面试题合集

部署本地大模型或者调用远端模型

• 刚安装好是没有可用的本地大模型的，我们需要到 Hub 菜单中下载本地大模型或者选择 OpenAI GPT、Grop 这些远端模型来使用（需要设置 API Key）

• 以「Mistral Instruct 7B Q4」模型为例，我们点击 Download 进行下载。这个时候不出意外，下载失败😂，因为它的下载地址是 huggingface 的

修改模型的下载地址

• 莫慌，我们点击左下角的设置，然后选择「Advanced Settings」高级配置，打开「Jan Data Folder」的目录

• 在这个目录中，我们可以看到有一个 models 文件夹，这就是 Jan 用来存放本地大模型的地方，每个大模型下都有一个 model.json 文件，它里面包含了对应模型的一些描述和配置以及下载路径，我们可以修改里面的路径为镜像站的 url，在重启 Jan 之后我们就能顺利下载模型了

将下图红框中选中的 url 替换为 hf-mirror.com 即可：

• 还是以 「Mistral Instruct 7B Q4」为例，我们再修改 url 之后再 Download 一下，已经可以正常下载了：

• 三金这里之前就下载好了「Qwen Chat 7B Q4」模型，下载好之后，右侧的 Download 按钮会变成 Use，点击 Use 开始对话

写代码什么的也没啥问题：

调用 OpenAI 的 ChatGPT

除此之外，我们也可以试试使用 OpenAI 的 ChatGPT，以 3.5 为例。因为之前部署过 FreeGPT35，所以也用不到 API Key，直接在「EXTENSIONS-OpenAI Inference Engine」里修改「Chat Completions Endpoint」即可：

注意红框后面那半截路径不要丢，不然就没法成功调用

设置好之后回到对话部分，在右侧的模型中选择「Remote-Open AI GPT 3.5 Turbo」开始对话：

成功调通～🎉🎉

启动本地服务

点击左下角的「Local API Server」可以启动一个本地服务，这样我们在其他客户端也能访问本地大模型了

如上图，一旦启动服务器，我们就无法在 Jan 中进行聊天了，只能通过调用这个服务的方式。

服务启动后，我们可以点击「Stop Server」按钮下的 API Reference 来查看可用的 API 都有哪些，也可以看到左侧的 assistant 菜单已经被禁用（这就是对话菜单）

API Reference 打开之后会列出可用的 API 接口，我们以 /chat/completion 为例进行调用：

可以看到还是很丝滑的，如果我们在此基础上，再内网穿透一下，就可以实现外网访问本地大模型了😁

有点遗憾的是，Phi-3 模型在三金下载到本地并导入到 Jan 里之后却无法运行起来，看了下 issue 也有人提出了一样的问题，希望后续能支持吧。

今天的分享就到这里了，感兴趣的小伙伴快去试试吧～

如何学习AI大模型？

我在一线互联网企业工作十余年里，指导过不少同行后辈。帮助很多人得到了学习和成长。

我意识到有很多经验和知识值得分享给大家，也可以通过我们的能力和经验解答大家在人工智能学习中的很多困惑，所以在工作繁忙的情况下还是坚持各种整理和分享。但苦于知识传播途径有限，很多互联网行业朋友无法获得正确的资料得到学习提升，故此将并将重要的AI大模型资料包括AI大模型入门学习思维导图、精品AI大模型学习书籍手册、视频教程、实战学习等录播视频免费分享出来。

第一阶段： 从大模型系统设计入手，讲解大模型的主要方法；

第二阶段： 在通过大模型提示词工程从Prompts角度入手更好发挥模型的作用；

第三阶段： 大模型平台应用开发借助阿里云PAI平台构建电商领域虚拟试衣系统；

第四阶段： 大模型知识库应用开发以LangChain框架为例，构建物流行业咨询智能问答系统；

第五阶段： 大模型微调开发借助以大健康、新零售、新媒体领域构建适合当前领域大模型；

第六阶段： 以SD多模态大模型为主，搭建了文生图小程序案例；

第七阶段： 以大模型平台应用与开发为主，通过星火大模型，文心大模型等成熟大模型构建大模型行业应用。

👉学会后的收获：👈
• 基于大模型全栈工程实现（前端、后端、产品经理、设计、数据分析等），通过这门课可获得不同能力；

• 能够利用大模型解决相关实际项目需求： 大数据时代，越来越多的企业和机构需要处理海量数据，利用大模型技术可以更好地处理这些数据，提高数据分析和决策的准确性。因此，掌握大模型应用开发技能，可以让程序员更好地应对实际项目需求；

• 基于大模型和企业数据AI应用开发，实现大模型理论、掌握GPU算力、硬件、LangChain开发框架和项目实战技能， 学会Fine-tuning垂直训练大模型（数据准备、数据蒸馏、大模型部署）一站式掌握；

• 能够完成时下热门大模型垂直领域模型训练能力，提高程序员的编码能力： 大模型应用开发需要掌握机器学习算法、深度学习框架等技术，这些技术的掌握可以提高程序员的编码能力和分析能力，让程序员更加熟练地编写高质量的代码。

1.AI大模型学习路线图
2.100套AI大模型商业化落地方案
3.100集大模型视频教程
4.200本大模型PDF书籍
5.LLM面试题合集
6.AI产品经理资源合集

👉获取方式：
😝有需要的小伙伴，可以保存图片到wx扫描二v码免费领取【保证100%免费】🆓