进阶岛--MindSearch CPU-only 版部署

What?

MindSearch

一言以蔽之：传统搜索引擎 + LLM智能筛选/汇总
快速体验可以试下该赛道目前知名商业付费应用：Perplexity
更详细的介绍：https://github.com/InternLM/MindSearch

CPU-only部署

接上文，由于有LLM汇总环节，而LLM推理是很耗费GPU资源的，所以仅CPU怎么干这个活？
答：推理过程放云端，原理类似手机连云主机玩3A大作。Silicon Flow就是云端推理方案之一

实操

系统环境(仅参考）

• ubuntu 22.04
• python 3.10

环境配置

教程

参考 https://github.com/InternLM/Tutorial/blob/camp3/docs/L2/MindSearch/readme.md ， 写的很详细

注意事项&FAQ

• Q: 报错 ModuleNotFoundError: No module named 'certifi'
  A: pip install certifi
• 教程中部署了基于硅基流动api的mindsearch LLM推理后端、以及基于gradio的webui。切记！如果走的是ssh端口转发方案访问gradio web服务, 必须同时ssh转发LLM推理后端服务。对应到教程里，就是必须既转发7860端口服务，同时转发8002端口服务

运行过程截图

启动mindsearch服务

体验效果

部署到HuggingFace