[InternLM 大模型开源社区]大模型实战营第三期@202408-彩蛋岛-第1关-MindSearch 快速部署

进阶岛 MindSearch版本请看 [InternLM 大模型开源社区]大模型实战营第三期@202408-进阶岛-第6关-MindSearch 快速部署

• git clone https://github.com/InternLM/MindSearch.git && cd MindSearch

• 安装依赖:

• 会自动安装torch,lmdeploy,lagent:

  pip install duckduckgo_search==5.3.1b1 einops fastapi \
  	git+https://github.com/InternLM/lagent.git \
  	gradio janus lmdeploy pyvis sse-starlette termcolor \
  	transformers==4.41.0 uvicorn griffe==0.48.0
  

• 启动后端(默认)

  • 注意:
    • 如果本地部署大模型--model_format internlm_server后端需要GPU
    • 默认--lang cn --model_format internlm_server --search_engine DuckDuckGoSearch 不需要修改的话可以直接python -m mindsearch.app
    • 经 双机(后端internln-studio(境内),前端tencent cloudstduio(新加坡)测试后端使用--model_format internlm_client存在问题,看log是回复信息有问题,但是前后端http正常,但是没有interactivate.另外,测试了前端用lmdeploy serve $BACKENDIP也是正常的.
  • 默认命令:

  python -m mindsearch.app --lang en --model_format internlm_server --search_engine DuckDuckGoSearch
  

• 启动后端(qwen + duckduckgo)

  • 由于我充值了阿里云所以,我们选择qwen,再由于我没有用过微软azure,所以我们用duckduckgo.但是注意duckduckgo需要外网环境,你需要境外服务器作为前端,这里前端我选择新加坡的腾讯云.(新加坡近一点,快.但是香港已知无法使用openai tiktok等,所以不要选择)
    • 先注册阿里云账号,用支付宝登录也可以,然后活人认证.
    • 这里不需要像我一样充钱,因为有赠送token
    • 进入https://dashscope.console.aliyun.com/overview 选择开通就送100w tokens.
    • 然后去https://dashscope.console.aliyun.com/apiKey 开设一个新的api,复制api.
    • 阅读源码,发现使用的是qwen-max-longcontext. 可以在这里查看期参数https://help.aliyun.com/zh/dashscope/developer-reference/model-introduction?spm=a2c4g.11186623.0.i3
    • 我们这里修改model.py文件,增加qwen api把填入这里改为你自己的api
      

• python -m mindsearch.app --model_format

• 如下代码就是成功了

  (lmdeploy) root@VM-4-244-ubuntu:/workspace/MindSearch# python -m mindsearch.app --model_format qwen
  INFO:     Started server process [20897]
  INFO:     Waiting for application startup.
  INFO:     Application startup complete.
  INFO:     Uvicorn running on http://0.0.0.0:8002 (Press CTRL+C to quit)
  

• python frontend/mindsearch_gradio.py把后端也启动起来

  (lmdeploy) root@VM-4-244-ubuntu:/workspace/MindSearch# python frontend/mindsearch_gradio.py
  /root/miniconda3/envs/lmdeploy/lib/python3.10/site-packages/gradio/routes.py:1188: DeprecationWarning: 
          on_event is deprecated, use lifespan event handlers instead.
  
          Read more about it in the
          [FastAPI docs for Lifespan Events](https://fastapi.tiangolo.com/advanced/events/).
          
    @app.on_event("startup")
  /root/miniconda3/envs/lmdeploy/lib/python3.10/site-packages/fastapi/applications.py:4495: DeprecationWarning: 
          on_event is deprecated, use lifespan event handlers instead.
  
          Read more about it in the
          [FastAPI docs for Lifespan Events](https://fastapi.tiangolo.com/advanced/events/).
          
    return self.router.on_event(event_type)
  Running on local URL:  http://127.0.0.1:7882
  Running on public URL: https://23e7aadb98841e8b96.gradio.live
  
  This share link expires in 72 hours. For free permanent hosting and GPU upgrades, run `gradio deploy` from Terminal to deploy to Spaces (https://huggingface.co/spaces)
  

• 点击内网/外网的连接打开网页,这里我选择了内网穿透的外网连接

• 在下面输入问题,点summit
  

• 随便问个问题
  

-随便问个问题

• 此时的后台log:

• ^ action end代表已完成,再返回结果.不过这里返回有点问题.我另外测试npm也暂时没有成功,我可能需要更新一套云服务器再试一次.
  
• ^ 这里只花了1W token