光杆司令如何部署大模型?

1、背景

今天这种方式非常贴合低配置笔记本电脑的小伙伴们, 又没有GPU资源, 可以考虑使用api方式,让模型服务厂商提供计算资源


有了开放的api,让你没有显卡的电脑也能感受一下大模型管理知识库,进行垂直领域知识的检索和问答.算是自己初步玩一下AI agent


之前有写过一篇《平民如何体验一把大模型知识库》里面有提到使用阿里的免费GPU进行部署,但是免费总有到头的一天, 今天教大家如何使用在线模型管理自己的知识库, 同样是基于ChatChat的开源代码来讲解. 随着大模型竞争的白热化,基本很多大模型都开放的api方式,让大家自己定义AI agent的应用.


目前官方github上支持联网模型有:

447d5730623f22a4504aff36720b9fe3.jpeg

目前官方github上支持的词嵌入(Embedding)模型有:

f2e5ecd7ed93d88b560240c1bec4a2a9.jpeg

2、准备下前置条件

(1)、联网大模型选择

刚好最近讯飞星火发布了3.5大模型, 为了对它免费的感谢,顺便也支持一下国产的服务,我们就拿它的api来玩一玩, 个人实名认证的可以免费领取,领取就可以获得api调用key等信息:
0518c5a1ef6797f0e5eaeb1404e4f227.jpeg

(2)联网的词嵌入(Embedding) 模型

在对话过程中并不要求 LLM 模型与 Embeddings 模型一致,你可以在知识库管理页面中使用 qwen-api,在之前《限时免费的羊毛撸起来!@刚入大模型坑的朋友们》文章中有提到过。

47e745b5b1537093033a9e6e3bd2c87d.jpeg

(3) 向量数据库

官方的github支持向量数据库有以下选择:

6bae14befa564587b323713637fd2320.jpeg

为了完全降低本地资源的损耗, 模拟成最差的资源的机器, 证明自己是光杆指令,选择Zilliz向量库.

3、实操

(1) 、创建虚拟python环境

conda create --name chatchat python=3.10.12

(2)、安装必要的包

pip install -r requirements_lite.txt # 安装轻量依赖
pip install -r requirements_api.txt
pip install -r requirements_webui.txt
pip install pymilvus # Zilliz依赖

(3)、运行

python copy_config_example.py #修改配置文件
vim configs/model_config.py # 修改模型配置变量
vim configs/kb_config.py # 修改配置文件,配置Zilliz和Zilliz 信息
nohup python3.10 startup.py -a > chat.log 2>&1 &



4、效果展示

(1) 、对话效果

127096a3b016e2b4d9fd83598549fc65.jpeg

(2)、无GPU使用

fb1c5dccaffc3119475672f2c69b6dd9.jpeg


  • 3
    点赞
  • 5
    收藏
    觉得还不错? 一键收藏
  • 打赏
    打赏
  • 0
    评论

“相关推荐”对你有帮助么?

  • 非常没帮助
  • 没帮助
  • 一般
  • 有帮助
  • 非常有帮助
提交
评论
添加红包

请填写红包祝福语或标题

红包个数最小为10个

红包金额最低5元

当前余额3.43前往充值 >
需支付:10.00
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包

打赏作者

程序猿阿三

你的鼓励将是我创作的最大动力

¥1 ¥2 ¥4 ¥6 ¥10 ¥20
扫码支付:¥1
获取中
扫码支付

您的余额不足,请更换扫码支付或充值

打赏作者

实付
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明:

1.余额是钱包充值的虚拟货币,按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载,可以购买VIP、付费专栏及课程。

余额充值