随着硅基流动(SiliconFlow)提供的InternLM2.5-7B-Chat服务的免费开放,我们迎来了MindSearch部署的全新篇章。这一服务的免费提供,不仅极大地降低了部署门槛,还为MindSearch的使用者带来了纯CPU版本的便利。本文将为您详细介绍如何利用硅基流动的API来部署MindSearch。
快速开始
首先,您需要访问硅基流动的官方网站并注册一个账号。如果您已经注册过,直接登录即可。
配置MindSearch
硅基流动的API接口与OpenAI的API接口完全一致,这使得配置过程变得异常简单。首先,您需要克隆MindSearch到本地,并安装所需的依赖项。具体的安装指南可以参考 MindSearch的GitHub仓库。
接下来,您需要修改MindSearch的配置文件,以便接入硅基流动的API。
-
修改配置文件
打开
/path/to/MindSearch/mindsearch/models.py
文件,并添加以下配置:internlm_silicon = dict(type=GPTAPI, model_type='internlm/internlm2_5-7b-chat', key=os.environ.get('SILICON_API_KEY', 'YOUR SILICON API KEY'), openai_api_base='https://api.siliconflow.cn/v1/chat/completions', meta_template=[ dict(role='system', api_role='system'), dict(role='user', api_role='user'), dict(role='assistant', api_role='assistant'), dict(role='environment', api_role='system') ], top_p=0.8, top_k=1, temperature=0, max_new_tokens=8192, repetition_penalty=1.02, stop_words=['<|im_end|>'])
启动MindSearch
配置完成后,您可以开始启动MindSearch。
-
启动后端
设置硅基流动的API Key,并启动MindSearch的后端服务:
# 设置API Key export SILICON_API_KEY=您复制的密钥 # 启动服务 python -m mindsearch.app --lang en --model_format internlm_silicon --search_engine DuckDuckGoSearch
-
启动前端
使用Gradio前端启动MindSearch。如果您使用的是其他前端,请参考MindSearch的README文档。
python frontend/mindsearch_gradio.py
体验效果
启动完成后,您可以开始体验MindSearch的强大功能。响应速度非常快,用户体验极佳。
部署到HuggingFace Space
您还可以选择将MindSearch部署到HuggingFace的Space中。
-
创建Space
访问 HuggingFace Space 创建一个新的Space。
-
设置API Key
创建成功后,进入Space的设置页面,配置API Key。
-
上传文件
将MindSearch目录、
requirements.txt
和app.py
文件上传到Space中。app.py
的具体内容请访问 HuggingFace Space上的MindSearch_X_SiliconFlow 查看。