一站式开源AI平台Cherry Studio本地部署与远程调用本地大模型

博客目录
    • 前言
    • 1. 本地安装
    • 2. 配置模型服务
      • 2.1 配置在线模型服务
      • 2.2 配置本地模型服务
      • 2.3 其他功能简单演示
        • 2.3.1 创建智能体
        • 2.3.2 AI 文生图
    • 3. 安装内网穿透工具
    • 4. 配置公网地址
    • 5. 配置固定公网地址
    • 总结

前言

本文主要介绍如何在 Windows 系统电脑本地安装开源 AI 客户端 Cherry Studio,并结合 cpolar 内网穿透工具轻松实现随时随地远程调用本地部署的各种 AI 大语言模型,无需公网 IP,也不用准备云服务器那么麻烦。

Cherry Studio 是一款支持多个大语言模型(LLM)服务商的桌面客户端(如 OpenAI、Gemini、Anthropic)以及本地模型(通过 Ollama 等运行),兼容 Windows、Mac 和 Linux 系统。内置 300 多个预配置 AI 助手,用户还可自定义专属助手以满足个性化需求。

Cherry Studio 不仅支持多模型同时对话,还能创建智能体,文生图,AI 翻译,处理多种文件格式(包括文本、图片、PDF 和 Office 文件)。开箱即用,无需配置环境。有了这一个 AI 工具,就相当于拥有了一个包罗万象的高级 AI 助理,节省时间,提高效率。话不多说,下面就来详细介绍一下如何安装与使用!

img

1. 本地安装

本例中使用的是 Windows11 专业版系统,本地已经提前准备好了 DeepSeek-R1 与千问 QWQ-32B 大模型。

如果不知道如何本地部署这两款 AI 大模型,可以查看下面的文章:《千问 QwQ32B 本地部署与远程访问》《Windows 本地部署 deepseek-r1 大模型》

首先,我们访问 Cherry Studio 的 github 主页下载客户端:https://github.com/CherryHQ/cherry-studio/releases

找到 Windows 版本客户端安装程序下载即可:

image-20250321105737238

选择好安装位置后,即可快速安装:

image-20250321105817828

image-20250321105901495

2. 配置模型服务

打开客户端后,可以看到界面非常简洁明了。

image-20250321110051047

2.1 配置在线模型服务

点击左下角的设置,即可进行模型服务配置:

image-20250321110140817

这里我们拿硅基流动的模型服务进行举例,如果你本地没有部署 deepseek 等大模型,只要添加好 API 秘钥就能在 Cherry Studio 客户端中在线使用 deepseek 大模型!如果你没有它的 API 秘钥,点击下方获取秘钥,在跳转的页面注册一个账号就能免费获得你的 API keys:

image-20250321114828835

将这个 Key 复制到 Cherry Studio 客户端中刚才的 API 秘钥框中,确定右上角的开关打开状态即可:

image-20250321114914351

现在点击底部的管理按钮,就能看到已经可以使用这里的几十种大模型了:

image-20250321132900103

image-20250321132916418

比如这里点击加号添加 deepseek-r1-70b 模型:

image-20250321133103897

然后点击客户端左上角的聊天图标,在对话框顶部的模型选择中,就可以看到刚才添加的 70B 模型了:

image-20250321133242065

现在就能在对话框中与 deepseek 在线聊天了:

image-20250321133400256

不过这种使用 API 接口在线调用大模型的方式通常都是根据消耗 tokens 计费,偶尔简单使用还可以,长期或大量使用的话可能需要准备好预算。

2.2 配置本地模型服务

如果你已经在本地服务器中部署了 AI 大模型,那么也可以在 Cherry Studio 客户端中配置本地模型服务,免费与大模型聊天,想用就用。

同样,我们点击 Cherry Studio 左下角的设置,在模型服务中选择 Ollama,打开右上角的开关:

image-20250321134114781

点击管理:

image-20250321134139960

在这里可以看到我们之前在本地已经下载好的千问 qwq-32b 模型和 deepseek-r1:1.5b 模型,点击加号添加即可:

image-20250321134256709

然后回到客户端聊天界面,在对话框顶部的模型选择中,就可以看到刚才添加的本地模型了:

image-20250321134410285

现在就能在对话框中和本地的 qwq-32b 模型聊天了,无需担心额外费用:

image-20250321134615519

2.3 其他功能简单演示

除了使用 Api key 在线使用 AI 大模型和调用本地 AI 大模型聊天,Cherry Studio 还有很多非常好用的功能。

2.3.1 创建智能体

我们可以点击聊天助手下的智能体功能,根据不同的使用场景选择自己需要的智能体模版进行创建:

image-20250321135243959

创建好之后,点击聊天助手,可以看到刚才创建的美文排版智能体,在这个模版界面中,我们可以选择在线大模型或者本地大模型后,在聊天框中提出问题:

image-20250321135606288

2.3.2 AI 文生图

在创建智能体下边,我们还可以使用它来调用 Flux.1 或者 SD 模型来进行文生图:(需要配置提供商 API 秘钥)

image-20250321140008055

在模型选择中可以看到支持多个模型:

image-20250321140045138

除此之外,Cherry Studio 还支持使用 AI 翻译,多种 AI 小程序等实用功能:

image-20250321140156315

image-20250321140225178

点击即可快速使用:

image-20250321140707850

3. 安装内网穿透工具

现在我们已经能在本地使用 Cherry Studio 超多 AI 功能带来的便利,但是如果想实现不在同一网络环境下,也能随时随地在线使用 Cherry Studio 客户端远程调用本地部署的 AI 大模型聊天与办公,那就需要借助 cpolar 内网穿透工具来实现公网访问了!

在上边我们配置本地模型服务时,使用的是在本地安装好的 ollama 接入大模型,想要远程调用大模型,需要进行对 ollama 进行一下环境变量设置。

打开 cmd 终端,执行下面两个命令:

setx OLLAMA_HOST "0.0.0.0"

setx OLLAMA_ORIGINS "*"

然后再为它配置一个公网地址即可解决这个问题:

image-20250321134114781

接下来介绍一下如何安装 cpolar 内网穿透,过程同样非常简单:

首先进入 cpolar 官网:cpolar 官网地址: https://www.cpolar.com

点击免费使用注册一个账号,并下载最新版本的 cpolar:

image-20250307152003085

登录成功后,点击下载 cpolar 到本地并安装(一路默认安装即可)本教程选择下载 Windows 版本。

image-20240319175308664

4. 配置公网地址

cpolar 安装成功后,在浏览器上访问 http://localhost:9200,使用 cpolar 账号登录,登录后即可看到配置界面,结下来在 WebUI 管理界面配置即可。

img

接下来配置一下 本地 ollama 服务 的公网地址:

登录后,点击左侧仪表盘的隧道管理——创建隧道,

  • 隧道名称:ollama(可自定义命名,注意不要与已有的隧道名称重复)
  • 协议:选择 http
  • 本地地址:11434 (本地访问的地址)
  • 域名类型:选择随机域名
  • 地区:选择 China Top

image-20250321142849112

隧道创建成功后,点击左侧的状态——在线隧道列表,查看所生成的公网访问地址,有两种访问方式,一种是 http 和 https:

image-20250321143433388

使用上面的任意一个公网地址,粘贴到 Cherry Studio 客户端的 ollama 模型服务的 API 地址里:

1742539038373

点击管理,即使不在同一网络环境下,也能看到在本地部署的 qwq32b 和 deepseek 模型!

image-20250321143918998

点击添加,即可在公网环境使用其他电脑随时随地远程调用本地内网大模型:

image-20250321144021612

image-20250321144037391

小结

为了方便演示,我们在上边的操作过程中使用 cpolar 生成的 HTTP 公网地址隧道,其公网地址是随机生成的。这种随机地址的优势在于建立速度快,可以立即使用。然而,它的缺点是网址是随机生成,这个地址在 24 小时内会发生随机变化,更适合于临时使用。

如果有长期远程使用 Cherry Studio 远程调用本地 AI 大模型,或者异地访问与使用其他本地部署的服务的需求,但又不想每天重新配置公网地址,还想让公网地址好看又好记并体验更多功能与更快的带宽,那我推荐大家选择使用固定的二级子域名方式来为本地服务配置一个公网地址。

5. 配置固定公网地址

接下来演示如何为本地 ollama 配置固定的 HTTP 公网地址,该地址不会变化,方便分享给别人长期查看你部署的项目,而无需每天重复修改服务器地址。

配置固定 http 端口地址需要将 cpolar 升级到专业版套餐或以上。

登录 cpolar 官网,点击左侧的预留,选择保留二级子域名,设置一个二级子域名名称,点击保留:

image-20250321144407766

保留成功后复制保留成功的二级子域名的名称:csollama,大家也可以设置自己喜欢的名称。

image-20250321144748454

返回 Cpolar web UI 管理界面,点击左侧仪表盘的隧道管理——隧道列表,找到所要配置的隧道:ollama,点击右侧的编辑:

image-20250321144825087

修改隧道信息,将保留成功的二级子域名配置到隧道中

  • 域名类型:选择二级子域名
  • Sub Domain:填写保留成功的二级子域名:csollama

点击更新(注意,点击一次更新即可,不需要重复提交)

image-20250321145203916

更新完成后,打开在线隧道列表,此时可以看到公网地址已经发生变化,地址名称也变成了固定的二级子域名名称的域名:

image-20250321145249020

最后,我们使用上面的任意一个固定公网地址,粘贴到 Cherry Studio 客户端的 ollama 模型服务的 API 地址里:

image-20250321145426347

返回聊天助手界面,同样能看到在本地部署的 qwq32b 和 deepseek 模型,并正常聊天。

image-20250321145819864

远程调用本地 qwq32b 模型使用智能体排版文章也没问题!

image-20250321150344413

image-20250321151646214

总结

通过以上步骤,我们实现了在 Windows 系统电脑本地安装 Cherry Studio 客户端并配置本地 AI 大模型服务,并使用 cpolar 内网穿透工具轻松实现在公网环境中也能使用 Cherry Studio 远程访问本地部署的大模型,并为本地服务配置固定不变的二级子域名公网地址的全部流程。

经过简单测试,Cherry Studio 这款 AI 工具确实效果很惊艳,支持的功能也非常多,而结合内网穿透使用则降低了使用门槛,无需二次部署,提高效率。另外,Cherry Studio 针对个人用户免费,企业用户请联系官方合作。非常期待 Cherry Studio 后续的发展,也感谢您的观看,有任何问题欢迎留言交流。

如何学习AI大模型?

大模型时代,火爆出圈的LLM大模型让程序员们开始重新评估自己的本领。 “AI会取代那些行业?”“谁的饭碗又将不保了?”等问题热议不断。

不如成为「掌握AI工具的技术人」,毕竟AI时代,谁先尝试,谁就能占得先机!

想正式转到一些新兴的 AI 行业,不仅需要系统的学习AI大模型。同时也要跟已有的技能结合,辅助编程提效,或上手实操应用,增加自己的职场竞争力。

但是LLM相关的内容很多,现在网上的老课程老教材关于LLM又太少。所以现在小白入门就只能靠自学,学习成本和门槛很高

那么针对所有自学遇到困难的同学们,我帮大家系统梳理大模型学习脉络,将这份 LLM大模型资料 分享出来:包括LLM大模型书籍、640套大模型行业报告、LLM大模型学习视频、LLM大模型学习路线、开源大模型学习教程等, 😝有需要的小伙伴,可以 扫描下方二维码领取🆓↓↓↓

在这里插入图片描述

AI大模型学习福利

作为一名热心肠的互联网老兵,我决定把宝贵的AI知识分享给大家。 至于能学习到多少就看你的学习毅力和能力了 。我已将重要的AI大模型资料包括AI大模型入门学习思维导图、精品AI大模型学习书籍手册、视频教程、实战学习等录播视频免费分享出来。

大模型&AI产品经理如何学习

求大家的点赞和收藏,我花2万买的大模型学习资料免费共享给你们,来看看有哪些东西。

1.学习路线图

在这里插入图片描述

第一阶段: 从大模型系统设计入手,讲解大模型的主要方法;

第二阶段: 在通过大模型提示词工程从Prompts角度入手更好发挥模型的作用;

第三阶段: 大模型平台应用开发借助阿里云PAI平台构建电商领域虚拟试衣系统;

第四阶段: 大模型知识库应用开发以LangChain框架为例,构建物流行业咨询智能问答系统;

第五阶段: 大模型微调开发借助以大健康、新零售、新媒体领域构建适合当前领域大模型;

第六阶段: 以SD多模态大模型为主,搭建了文生图小程序案例;

第七阶段: 以大模型平台应用与开发为主,通过星火大模型,文心大模型等成熟大模型构建大模型行业应用。

2.视频教程

网上虽然也有很多的学习资源,但基本上都残缺不全的,这是我自己整理的大模型视频教程,上面路线图的每一个知识点,我都有配套的视频讲解。

在这里插入图片描述

在这里插入图片描述

(都打包成一块的了,不能一一展开,总共300多集)

因篇幅有限,仅展示部分资料,需要点击下方图片前往获取

3.技术文档和电子书

这里主要整理了大模型相关PDF书籍、行业报告、文档,有几百本,都是目前行业最新的。
在这里插入图片描述

4.LLM面试题和面经合集

这里主要整理了行业目前最新的大模型面试题和各种大厂offer面经合集。
在这里插入图片描述

👉学会后的收获:👈
• 基于大模型全栈工程实现(前端、后端、产品经理、设计、数据分析等),通过这门课可获得不同能力;

• 能够利用大模型解决相关实际项目需求: 大数据时代,越来越多的企业和机构需要处理海量数据,利用大模型技术可以更好地处理这些数据,提高数据分析和决策的准确性。因此,掌握大模型应用开发技能,可以让程序员更好地应对实际项目需求;

• 基于大模型和企业数据AI应用开发,实现大模型理论、掌握GPU算力、硬件、LangChain开发框架和项目实战技能, 学会Fine-tuning垂直训练大模型(数据准备、数据蒸馏、大模型部署)一站式掌握;

• 能够完成时下热门大模型垂直领域模型训练能力,提高程序员的编码能力: 大模型应用开发需要掌握机器学习算法、深度学习框架等技术,这些技术的掌握可以提高程序员的编码能力和分析能力,让程序员更加熟练地编写高质量的代码。
在这里插入图片描述

1.AI大模型学习路线图
2.100套AI大模型商业化落地方案
3.100集大模型视频教程
4.200本大模型PDF书籍
5.LLM面试题合集
6.AI产品经理资源合集

👉获取方式:
😝有需要的小伙伴,可以保存图片到wx扫描二v码免费领取【保证100%免费】🆓

在这里插入图片描述

评论
添加红包

请填写红包祝福语或标题

红包个数最小为10个

红包金额最低5元

当前余额3.43前往充值 >
需支付:10.00
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包

打赏作者

程序员一粟

你的鼓励将是我创作的最大动力

¥1 ¥2 ¥4 ¥6 ¥10 ¥20
扫码支付:¥1
获取中
扫码支付

您的余额不足,请更换扫码支付或充值

打赏作者

实付
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明:

1.余额是钱包充值的虚拟货币,按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载,可以购买VIP、付费专栏及课程。

余额充值