Camp4-L2:MindSearch 快速部署

书生浦语大模型实战营第四期:MindSearch 快速部署

  • 教程链接:https://github.com/InternLM/Tutorial/blob/camp4/docs/L2/MindSearch/readme.md
  • 任务链接:https://github.com/InternLM/Tutorial/blob/camp4/docs/L2/MindSearch/task.md
  • 提交链接:https://aicarrier.feishu.cn/share/base/form/shrcnUqshYPt7MdtYRTRpkiOFJd

任务说明
闯关任务需要在关键步骤当中截图!

任务描述
部署MindSearch到 hugging face Spaces上官方的MindSearch页面 复制Spaces应用到自己的Spaces下,Space 名称中需要包含 MindSearch 关键词,请在必要的步骤以及成功的对话测试结果当中

请将作业发布到知乎、CSDN等任一社交媒体,将作业链接提交到以下问卷,助教老师批改后将获得 100 算力点奖励!!!

任务:部署MindSearch到 hugging face Spaces上

环境配置

Github CodeSpace是Github推出的线上代码平台,提供了一系列templates,我们这里选择Jupyter Notebook进行创建环境。创建好环境后,可以进入网页版VSCode的界面,这就是CodeSpace提供给我们的在线编程环境。

  • https://github.com/codespaces

新建一个codespace:
在这里插入图片描述
然后选择在vscode打开:
在这里插入图片描述
然后后面的操作就在vscode操作即可,非常丝滑,环境创建:

conda create -n mindsearch python=3.10 -y
conda init
source ~/.bashrc
conda activate mindsearch
git clone https://github.com/InternLM/MindSearch.git && cd MindSearch && git checkout ae5b0c5
pip install -r requirements.txt

获取硅基流动API KEY

  • 打开它的登录界面来注册硅基流动的账号:https://account.siliconflow.cn/login
  • 打开api key页面来准备 API Key:https://cloud.siliconflow.cn/account/ak

然后放到~/.bashrc

export SILICON_API_KEY=<上面复制的API KEY>

之后source ~/.bashrc即可

测试MindSearch

启动后端:

python -m mindsearch.app --lang cn --model_format internlm_silicon --search_engine DuckDuckGoSearch --asy
  • –lang: 模型的语言,en 为英语,cn 为中文。
  • –model_format: 模型的格式。
    internlm_silicon 为 InternLM2.5-7b-chat 在硅基流动上的API模型
  • –search_engine: 搜索引擎。
    • DuckDuckGoSearch 为 DuckDuckGo 搜索引擎。
    • BingSearch 为 Bing 搜索引擎。
    • BraveSearch 为 Brave 搜索引擎。
    • GoogleSearch 为 Google Serper 搜索引擎。
    • TencentSearch 为 Tencent 搜索引擎。

启动前端:

python frontend/mindsearch_gradio.py

前后端的端口转发:
在这里插入图片描述
应用打开如下:
在这里插入图片描述
随便问几个问题:
在这里插入图片描述
如何换其他的搜索引擎:

# BingSearch
python -m mindsearch.app --lang cn --model_format internlm_silicon --search_engine BingSearch --asy
# TencentSearch
# python -m mindsearch.app --lang cn --model_format internlm_silicon --search_engine TencentSearch --asy

部署至huggingface

打开internlm官方部署的应用:https://huggingface.co/spaces/internlm/MindSearch
然后复制一下,填入上面的硅基流动API:
在这里插入图片描述
等几分钟就部署好了,随便问几个问题:
在这里插入图片描述
看下log:
在这里插入图片描述
一堆报警,restart一下,然后重新提问:
在这里插入图片描述
在这里插入图片描述
基本上就是这样了,还有好多功能后面慢慢探索~

评论
添加红包

请填写红包祝福语或标题

红包个数最小为10个

红包金额最低5元

当前余额3.43前往充值 >
需支付:10.00
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明:

1.余额是钱包充值的虚拟货币,按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载,可以购买VIP、付费专栏及课程。

余额充值