光杆司令如何部署大模型?

1、背景

今天这种方式非常贴合低配置笔记本电脑的小伙伴们, 又没有GPU资源, 可以考虑使用api方式,让模型服务厂商提供计算资源


有了开放的api,让你没有显卡的电脑也能感受一下大模型管理知识库,进行垂直领域知识的检索和问答.算是自己初步玩一下AI agent


之前有写过一篇《平民如何体验一把大模型知识库》里面有提到使用阿里的免费GPU进行部署,但是免费总有到头的一天, 今天教大家如何使用在线模型管理自己的知识库, 同样是基于ChatChat的开源代码来讲解. 随着大模型竞争的白热化,基本很多大模型都开放的api方式,让大家自己定义AI agent的应用.


目前官方github上支持联网模型有:

447d5730623f22a4504aff36720b9fe3.jpeg

目前官方github上支持的词嵌入(Embedding)模型有:

f2e5ecd7ed93d88b560240c1bec4a2a9.jpeg

2、准备下前置条件

(1)、联网大模型选择

刚好最近讯飞星火发布了3.5大模型, 为了对它免费的感谢,顺便也支持一下国产的服务,我们就拿它的api来玩一玩, 个人实名认证的可以免费领取,领取就可以获得api调用key等信息:
0518c5a1ef6797f0e5eaeb1404e4f227.jpeg

(2)联网的词嵌入(Embedding) 模型

在对话过程中并不要求 LLM 模型与 Embeddings 模型一致,你可以在知识库管理页面中使用 qwen-api,在之前《限时免费的羊毛撸起来!@刚入大模型坑的朋友们》文章中有提到过。

47e745b5b1537093033a9e6e3bd2c87d.jpeg

(3) 向量数据库

官方的github支持向量数据库有以下选择:

6bae14befa564587b323713637fd2320.jpeg

为了完全降低本地资源的损耗, 模拟成最差的资源的机器, 证明自己是光杆指令,选择Zilliz向量库.

3、实操

(1) 、创建虚拟python环境

conda create --name chatchat python=3.10.12

(2)、安装必要的包

pip install -r requirements_lite.txt # 安装轻量依赖
pip install -r requirements_api.txt
pip install -r requirements_webui.txt
pip install pymilvus # Zilliz依赖

(3)、运行

python copy_config_example.py #修改配置文件
vim configs/model_config.py # 修改模型配置变量
vim configs/kb_config.py # 修改配置文件,配置Zilliz和Zilliz 信息
nohup python3.10 startup.py -a > chat.log 2>&1 &



4、效果展示

(1) 、对话效果

127096a3b016e2b4d9fd83598549fc65.jpeg

(2)、无GPU使用

fb1c5dccaffc3119475672f2c69b6dd9.jpeg


  • 3
    点赞
  • 5
    收藏
    觉得还不错? 一键收藏
  • 打赏
    打赏
  • 0
    评论
### 回答1: 光杆放大法是指通过宣传、媒体报道等手段来扩大某个产品、品牌或者事件的知名度和影响力的营销策略。以下是一些光杆放大法的例子: 1. 大规模社交媒体宣传:通过在各大社交媒体平台上发布有趣的短视频、图片、文字等内容,吸引粉丝和用户的关注,从而扩大产品或品牌的知名度和影响力。 2. 热门话题营销:利用热门话题和事件进行营销,例如在某个热门事件发生时,推出与之相关的产品或服务,并且通过各种渠道宣传,吸引用户关注和购买。 3. 做大噱头:创造有趣、引人注目的事件或者噱头,例如发布有趣的广告,推出限量版产品等,吸引用户关注和购买。 4. 基于搜索引擎的营销:通过SEO优化、SEM投放等手段,提高产品或品牌在搜索引擎上的排名,从而吸引更多的用户关注和访问。 5. 大规模媒体报道:通过与主流媒体合作,进行大规模的报道和宣传,从而扩大产品或品牌的知名度和影响力。 ### 回答2: 光杆放大法是一种光学现象的应用方法,它利用光学放大器将输入的光信号放大,以增强信号的强度。 一个典型的应用例子是在光通信领域中。随着互联网的迅速发展,对高速、大带宽的通信需求也不断增加。光纤通信成为了一种理想的传输方式,其传输速度快、传输距离远、信号损耗小等优势广受认可。然而,在信号传输过程中,由于光波在光纤中的衰减和衍射效应,信号强度会逐渐减弱,导致信号质量下降。 为了解决信号强度衰减的问题,光杆放大法被广泛应用于光纤通信系统中。具体操作过程是:在光纤传输的中途,设置光学放大器。当信号经过放大器时,光学放大器会将光信号放大成高强度的光波。通过这种方式,信号的强度得到了增强,可以有效地提高信号质量和传输距离。 此外,光杆放大法还广泛应用于光学成像领域。例如,在显微镜中,当需要观察微小细胞或组织结构时,由于信号的微弱性,通常需要使用光杆放大法来放大信号,从而获得更清晰、更明亮的图像。同样,激光打印机、光纤传感器等领域中也会使用光杆放大法来增强信号的强度。 光杆放大法的应用具有广泛的潜力,在各个领域中都能起到提高信号强度和改善信号质量的作用。通过这种方法,我们可以充分利用光学放大器的特性,提高光学系统的性能,满足不同领域对高质量光信号的需求。

“相关推荐”对你有帮助么?

  • 非常没帮助
  • 没帮助
  • 一般
  • 有帮助
  • 非常有帮助
提交
评论
添加红包

请填写红包祝福语或标题

红包个数最小为10个

红包金额最低5元

当前余额3.43前往充值 >
需支付:10.00
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包

打赏作者

程序猿阿三

你的鼓励将是我创作的最大动力

¥1 ¥2 ¥4 ¥6 ¥10 ¥20
扫码支付:¥1
获取中
扫码支付

您的余额不足,请更换扫码支付或充值

打赏作者

实付
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明:

1.余额是钱包充值的虚拟货币,按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载,可以购买VIP、付费专栏及课程。

余额充值