Kimi AI大模型部署教程:手把手教你使用极空间

近期,从几百个AI大模型中突围的Kimi,因免费试用、模型大、响应快、扩展功能多等特点受到欢迎,被称为GPT4.0超级平替,火爆出圈!相信很多人手机中已经拥有了Kimi了吧!

先来认识一下Kimi是谁?

Kimi是一款国产人工智能助手,主要有“长文总结和生成、联网搜索、数据处理、编写代码、用户交互、翻译”6项功能,是全球首个支持输入20万汉字的智能助手产品。

Kimi的优势在于其高效的信息处理能力、多语言对话、强大的搜索能力、安全性和合规性、用户隐私保护、广泛的文件格式支持以及适应性和灵活性,这些特点使得Kimi成为用户获取信息和解决问题的有力助手。

这样的AI智能助手,是不是也想让你的极空间里拥有一个?那今天就大家都安排上↓↓↓

今天的进阶版玩法教程是: 用AI NAS 极空间Z423部署一夜爆火的【Kimi】, 极空间docker可玩性那么强!

书接上回,之前我写到过通过极空间部署kimi的API接口从而实现kimi大模型的使用,但由于过程很多人还是没看懂,且不知道如何对接到web服务中,于是今天便重新写写,同时我们将这个服务升级,除了kimi再将智谱、千问等大模型接入到我们的极空间中去部署。为了照顾老用户,这次我依然使用极空间来部署,并且过程会更为详细。

Z423

本次整个部署过程会涉及一共四个容器,我这里采用的设备为极空间Z423,作为民用级的NAS性能巅峰产品,除了出厂自带的32G大内存对于喜欢折腾各种玩法的人来说很友好,Z423的AMD锐龙7 5825U也是目前我使用过最强的NASCPU了。目前我Docker中已经部署十多个项目加上虚拟机一个,可以看到CPU的占用几乎不动,内存也完全没有焦虑。当然了,今天介绍的容器在老款Z4S以及最新的Z4Pro也可以流畅运行。

部署过程

首先我们需要先部署一个web服务用于承接这些API接口,这样你才能通过可视化的界面来使用各种各样的大模型。市面上目前已经蛮多这样的web应用了,但无一例外大多都是套壳NextChat,所以我们干脆直接使用NextChat。

NextChat

NextChat的部署并不难,首先我们访问极空间的Docker界面,在仓库中直接搜索yidadaa/chatgpt-next-web,如果下载超时,可以通过自定义拉取加代理的方式。

项目下载

选择自定义拉取,随后在项目名前面加上dockerproxy.com,这样便可以实现更快的拉取镜像文件。(网址后面记得要加/符号哦!)

加速镜像

镜像下载之后我们选择镜像创建容器,容器端口3000不变,本地端口随意不冲突就行。

端口映射

环境变量这里可以可以填写API的代理地址,key和访问密码,这里可以暂时不填写,毕竟我们还没有获取到key,访问密码变量为code,看你自己是否需要了,不填默认无密码。

环境变量

我这里直接全都不填写,随后直接创建容器。创建好之后我们打开极空间的远程访问功能(只能使用客户端)新建NextChat的远程访问,地址为127.0.0.1:本地端口,例如我这里就是127.0.0.1:3999。

远程访问

这时候我们通过远程访问的标签就可以访问到项目了,同时也可以将标签贴到首页作为快捷访问图标,极空间这一点还是蛮方便的,简单实用!

项目首页

这时候我们还不能提问以及画图,毕竟我们还没有填写key。而为了将所有大模型集中到一起,所以这里我们直接部署one api来实现API接口的统一。在此之前我们在docker文件夹新建one文件夹(名字随意,好记就行)

准备工作

随后在极空间的Docker仓库搜索justsong/one-api,如果拉取失败,还是可以采取上述的加代理的形式。

one-api

选择镜像创建容器,文件夹路径这里我们将刚刚创建的one文件夹映射路径设置为/data,端口上容器端口3000不动,本地端口随意不冲突就行了。

容器设置

随后启动项目,这时候我们就能得到一个用于对接所有大模型的服务了,默认的用户名为root密码123456,首次登录会提醒你修改密码。这里我依然使用极空间的远程访问编辑好,这样方便我们直接使用。

项目预览

这里我们已经为api的接入做好了所有准备工作了,接下来便是大模型的api搭建。首先是kimi模型。直接打开Docker仓库界面搜索:kimi-free-api下载镜像,镜像并不大,部署好也就200多M。(需要注意的事,该项目目前仅用于自用,再次感谢LLM Red Team大模型红队组织的开源项目。)

项目下载

下载之后我们直接创建容器,这里只需要将端口8000映射出去就可以了。这时候你的kimi接口便为你的ip地址+本地端口号,例如我这里就是http://192.168.101.12:8700。

端口映射

接口有了,还需要获取对应的key。kimi的key很好获取,登录kimi的官网,注册登录账号之后随便发起一段对话。随后按F12打开浏览器的开发人员功能,这里我使用的为Edge浏览器,所以点击应用程序-本地会话功能,找到refresh_token这一项,将其中的值记录下来,这就是稍后需要使用到的key。如果你是谷歌或其他浏览器,开发选项为英文界面,那么就在Application > Local Storage中去找。

key

这时候我们便得到了kimi的api接口以及key。由于kimi目前不支持ai绘图,所以我们还需要其他模型,所以这里我们再采取LLM Red Team大模型红队的开源项目glm-free-api来获取智谱清言的api接口以及key。Docker中搜索vinlic/glm-free-api下载镜像。

智谱清言

依然还是一样,只需要映射端口即可。端口映射之后直接启动项目,接着我们去智谱清言的官网获取key。注册登录一个账号,随后随便发起一段对话,随后按下F12获取到key。这时候我们便得到了智谱清言的接口与key了。

获取key

最后我们打开刚刚部署的one api项目界面,在渠道中添加kimi以及智谱清言,这里需要注意模型的选择,kimi由于不支持ai绘画,所以只需要选择对话模型即可,可以参考我这里的设置,代理地址便是我们刚刚搭建的kimi接口地址,密钥则是我们刚刚通过F12获取的值。

kimi设置

智谱清言因为具备ai绘图的能力,所以在设置中我们需要添加上dall-e-2或者-3都可以。他起模型有没有都无所谓,加上也不碍事,代理和密钥同上。

智谱设置

最后点击令牌,选择添加一个令牌,随后复制我们的令牌。再转到我们搭建的NextChat项目,点击右下角的设置项选择自定义接口,接口地址则是我们搭建的one-api服务地址,例如我这里就为http://192.168.101.12:3300。API key则是我们刚刚获取到的令牌。

web设置

这时候我们就能直接对话了,通过极空间的远程访问功能将NextChat固定到桌面,这样便可以直接在极空间中打开服务,从而实现对话了。

kimi展示

写在最后

整个过程需要部署的容器项目较多,所以想要体验的记得一定要耐心,部署完成之后基本只要网络不出问题,基本就不会有问题了。不得不说极空间NAS目前的用户量越来越多了,不错的性能配置加上更为简单方便的操作设置,相信NAS会随着极空间的发展越来越普及到大众家庭。

在这里插入图片描述

如何学习AI大模型?

我在一线互联网企业工作十余年里,指导过不少同行后辈。帮助很多人得到了学习和成长。

我意识到有很多经验和知识值得分享给大家,也可以通过我们的能力和经验解答大家在人工智能学习中的很多困惑,所以在工作繁忙的情况下还是坚持各种整理和分享。但苦于知识传播途径有限,很多互联网行业朋友无法获得正确的资料得到学习提升,故此将并将重要的AI大模型资料包括AI大模型入门学习思维导图、精品AI大模型学习书籍手册、视频教程、实战学习等录播视频免费分享出来。

在这里插入图片描述

第一阶段: 从大模型系统设计入手,讲解大模型的主要方法;

第二阶段: 在通过大模型提示词工程从Prompts角度入手更好发挥模型的作用;

第三阶段: 大模型平台应用开发借助阿里云PAI平台构建电商领域虚拟试衣系统;

第四阶段: 大模型知识库应用开发以LangChain框架为例,构建物流行业咨询智能问答系统;

第五阶段: 大模型微调开发借助以大健康、新零售、新媒体领域构建适合当前领域大模型;

第六阶段: 以SD多模态大模型为主,搭建了文生图小程序案例;

第七阶段: 以大模型平台应用与开发为主,通过星火大模型,文心大模型等成熟大模型构建大模型行业应用。

在这里插入图片描述

👉学会后的收获:👈
• 基于大模型全栈工程实现(前端、后端、产品经理、设计、数据分析等),通过这门课可获得不同能力;

• 能够利用大模型解决相关实际项目需求: 大数据时代,越来越多的企业和机构需要处理海量数据,利用大模型技术可以更好地处理这些数据,提高数据分析和决策的准确性。因此,掌握大模型应用开发技能,可以让程序员更好地应对实际项目需求;

• 基于大模型和企业数据AI应用开发,实现大模型理论、掌握GPU算力、硬件、LangChain开发框架和项目实战技能, 学会Fine-tuning垂直训练大模型(数据准备、数据蒸馏、大模型部署)一站式掌握;

• 能够完成时下热门大模型垂直领域模型训练能力,提高程序员的编码能力: 大模型应用开发需要掌握机器学习算法、深度学习框架等技术,这些技术的掌握可以提高程序员的编码能力和分析能力,让程序员更加熟练地编写高质量的代码。

在这里插入图片描述

1.AI大模型学习路线图
2.100套AI大模型商业化落地方案
3.100集大模型视频教程
4.200本大模型PDF书籍
5.LLM面试题合集
6.AI产品经理资源合集

👉获取方式:
😝有需要的小伙伴,可以保存图片到wx扫描二v码免费领取【保证100%免费】🆓

在这里插入图片描述

### 本地部署教程 #### 空间部署AI大模型实例 对于希望利用空间设备进行多种AI大模型(如Kimi、智谱、千问等)的部署,可以遵循一份详细的指南[^1]。这份文档不仅涵盖了基础设置流程,还深入探讨了如何将这些复杂的算法集成至Web应用之中,使得即使是没有深厚技术背景的人也能顺利操作。 具体来说,该过程涉及几个重要环节: - **环境准备**:确保拥有最新版本的操作系统以及必要的依赖库安装完毕。 - **模型下载与配置**:获取目标大模型文件并按照官方说明完成初步设定工作。 - **API接口开发**:编写RESTful API以便于前端页面调用后端处理逻辑,实现交互功能。 - **安全性考量**:采取适当措施保障数据传输的安全性和用户隐私不受侵犯。 ```bash # 安装Python虚拟环境工具 pip install virtualenv # 创建新的虚拟环境 virtualenv venv # 激活虚拟环境 (Windows) venv\Scripts\activate.bat # 或者激活虚拟环境 (Linux/MacOS) source venv/bin/activate # 安装项目所需的包 pip install -r requirements.txt ``` 以上命令展示了创建和激活Python项目的独立运行环境的方法,这对于保持不同应用程序之间的兼容性至关重要。 #### DS系统的本地部署方案 针对DS平台而言,则有另一份详尽的手册可供参考[^2]。此手册强调了在网络条件不佳甚至完全无连接状态下维持正常运作的重要性,并指出通过这种方式可大程度减少敏感资料外泄的风险。它同样提供了从硬件选购建议到软件层面的具体实施步骤等一系列实用信息。 在执行此类任务前,需注意以下几点事项: - **选择合适的服务器硬件**:依据预期负载挑选性能适配的机器规格。 - **操作系统的选择与优化**:选用适合长期稳定工作的发行版并对内核参数做相应调整。 - **数据库管理策略规划**:设计合理的存储架构以支持高效查询响应时间的同时兼顾成本控制因素。 - **定期备份机制建立**:制定完善的灾难恢复计划以防意外情况发生时能迅速恢复正常业务活动。 ```sql -- MySQL 数据库初始化脚本示例 CREATE DATABASE ds_platform; USE ds_platform; CREATE TABLE users ( id INT AUTO_INCREMENT PRIMARY KEY, username VARCHAR(50) NOT NULL UNIQUE, password_hash CHAR(64), created_at TIMESTAMP DEFAULT CURRENT_TIMESTAMP ); ``` 上述SQL语句用于构建一个新的名为`ds_platform`的数据仓库及其内部结构化的表单定义,这是任何基于关系型数据库的应用程序不可或缺的一部分。
评论
添加红包

请填写红包祝福语或标题

红包个数最小为10个

红包金额最低5元

当前余额3.43前往充值 >
需支付:10.00
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明:

1.余额是钱包充值的虚拟货币,按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载,可以购买VIP、付费专栏及课程。

余额充值