第三期书生大模型实战营之MindSearch 部署

Alannikos

于 2024-08-26 20:48:06 发布

阅读量319

点赞数 11

分类专栏：书生浦语实战营文章标签： python 深度学习人工智能 deep learning

本文链接：https://blog.csdn.net/T_susan/article/details/141571421

版权

书生浦语实战营专栏收录该内容

19 篇文章 0 订阅

订阅专栏

在这里插入图片描述

基础任务

按照教程，将 MindSearch 部署到 HuggingFace，提供截图和 Hugging Face 的Space的链接。

过程记录

0. 简介

MindSearch是由上海人工智能实验室开发的一个基于大语言模型（LLM）和搜索引擎相结合的系统，继 OpenAI 发布 SearchGPT 之后，国内也涌现出一批优秀的AI搜索引擎，其中，由中科大和上海人工智能实验室联合研发的 MindSearch（思·索）尤为引人注目。这款开源AI搜索引擎，不仅性能媲美Perplexity.ai Pro，更重要的是，它跳脱了传统搜索引擎的窠臼，不再仅仅依赖关键词匹配，而是模拟人类的思维过程，深度理解用户的搜索意图，并提供更精准、更全面的搜索结果。这款开源AI搜索引擎的出现，无疑为我们打开了一扇通往未来搜索引擎的大门。

我们模仿人类思维引出深度人工智能搜索，MindSearch 是一个开源的 AI 搜索引擎框架，具有 Perplexity.ai Pro 的性能。您可以使用闭源 LLM（GPT、Claude）或开源 LLM（InternLM2.5-7b-chat）将其与您自己的 perplexity.ai 风格的搜索引擎一起部署。它具有以下特点：

🤔询问您想知道的一切：MindSearch 旨在解决您生活中的任何问题并使用网络知识。
📚深入的知识发现：MindSearch 浏览数百个网页来回答您的问题，提供更深入、更广泛的知识库答案。
🔍详细的解决方案路径：MindSearch 公开所有细节，让用户可以检查他们想要的一切。这大大提高了其最终响应的可信度和可用性。
💻优化的 UI 体验：为用户提供各种类型的界面，包括 React、Gradio、Streamlit 和 Terminal。根据需要选择任意类型。
🧠动态图构建过程：MindSearch 将用户查询分解为原子子问题作为图中的节点，并根据 WebSearcher 的搜索结果逐步扩展图。

1. 仓库准备

mkdir -p /workspaces/mindsearch
cd /workspaces/mindsearch
git clone https://github.com/InternLM/MindSearch.git
cd MindSearch && git checkout b832275 && cd ..

2. 环境准备

conda create -n mindsearch python=3.10 -y
# 激活环境
conda activate mindsearch
# 安装依赖
pip install -r /workspaces/mindsearch/MindSearch/requirements.txt

3. 获取InternLM2模型的api-key（基于硅基流动）

site: https://cloud.siliconflow.cn/

4. 本地启动 MindSearch

4.1 启动后端
由于硅基流动 API 的相关配置已经集成在了 MindSearch 中，所以我们可以直接执行下面的代码来启动 MindSearch 的后端。

export SILICON_API_KEY=xxx
conda activate mindsearch
cd /workspaces/mindsearch/MindSearch
python -m mindsearch.app --lang cn --model_format internlm_silicon --search_engine DuckDuckGoSearch

4.2 启动前端

conda activate mindsearch
cd /workspaces/mindsearch/MindSearch
python frontend/mindsearch_gradio.py

结果截图
在这里插入图片描述

6. 部署到 HuggingFace Space

首先需要在huggingface创建一个app（详情参考huggingface文档），然后我们在本地创建好对应的项目仓库。

# 创建新目录
mkdir -p /workspaces/mindsearch/mindsearch_deploy
# 准备复制文件
cd /workspaces/mindsearch
cp -r /workspaces/mindsearch/MindSearch/mindsearch /workspaces/mindsearch/mindsearch_deploy
cp /workspaces/mindsearch/MindSearch/requirements.txt /workspaces/mindsearch/mindsearch_deploy
# 创建 app.py 作为程序入口
touch /workspaces/mindsearch/mindsearch_deploy/app.py

app.py内容如下：

import json
import os

import gradio as gr
import requests
from lagent.schema import AgentStatusCode

os.system("python -m mindsearch.app --lang cn --model_format internlm_silicon &")

PLANNER_HISTORY = []
SEARCHER_HISTORY = []


def rst_mem(history_planner: list, history_searcher: list):
    '''
    Reset the chatbot memory.
    '''
    history_planner = []
    history_searcher = []
    if PLANNER_HISTORY:
        PLANNER_HISTORY.clear()
    return history_planner, history_searcher


def format_response(gr_history, agent_return):
    if agent_return['state'] in [
            AgentStatusCode.STREAM_ING, AgentStatusCode.ANSWER_ING
    ]:
        gr_history[-1][1] = agent_return['response']
    elif agent_return['state'] == AgentStatusCode.PLUGIN_START:
        thought = gr_history[-1][1].split('```')[0]
        if agent_return['response'].startswith('```'):
            gr_history[-1][1] = thought + '\n' + agent_return['response']
    elif agent_return['state'] == AgentStatusCode.PLUGIN_END:
        thought = gr_history[-1][1].split('```')[0]
        if isinstance(agent_return['response'], dict):
            gr_history[-1][
                1] = thought + '\n' + f'```json\n{json.dumps(agent_return["response"], ensure_ascii=False, indent=4)}\n```'  # noqa: E501
    elif agent_return['state'] == AgentStatusCode.PLUGIN_RETURN:
        assert agent_return['inner_steps'][-1]['role'] == 'environment'
        item = agent_return['inner_steps'][-1]
        gr_history.append([
            None,
            f"```json\n{json.dumps(item['content'], ensure_ascii=False, indent=4)}\n```"
        ])
        gr_history.append([None, ''])
    return


def predict(history_planner, history_searcher):

    def streaming(raw_response):
        for chunk in raw_response.iter_lines(chunk_size=8192,
                                             decode_unicode=False,
                                             delimiter=b'\n'):
            if chunk:
                decoded = chunk.decode('utf-8')
                if decoded == '\r':
                    continue
                if decoded[:6] == 'data: ':
                    decoded = decoded[6:]
                elif decoded.startswith(': ping - '):
                    continue
                response = json.loads(decoded)
                yield (response['response'], response['current_node'])

    global PLANNER_HISTORY
    PLANNER_HISTORY.append(dict(role='user', content=history_planner[-1][0]))
    new_search_turn = True

    url = 'http://localhost:8002/solve'
    headers = {'Content-Type': 'application/json'}
    data = {'inputs': PLANNER_HISTORY}
    raw_response = requests.post(url,
                                 headers=headers,
                                 data=json.dumps(data),
                                 timeout=20,
                                 stream=True)

    for resp in streaming(raw_response):
        agent_return, node_name = resp
        if node_name:
            if node_name in ['root', 'response']:
                continue
            agent_return = agent_return['nodes'][node_name]['detail']
            if new_search_turn:
                history_searcher.append([agent_return['content'], ''])
                new_search_turn = False
            format_response(history_searcher, agent_return)
            if agent_return['state'] == AgentStatusCode.END:
                new_search_turn = True
            yield history_planner, history_searcher
        else:
            new_search_turn = True
            format_response(history_planner, agent_return)
            if agent_return['state'] == AgentStatusCode.END:
                PLANNER_HISTORY = agent_return['inner_steps']
            yield history_planner, history_searcher
    return history_planner, history_searcher


with gr.Blocks() as demo:
    gr.HTML("""<h1 align="center">MindSearch Gradio Demo</h1>""")
    gr.HTML("""<p style="text-align: center; font-family: Arial, sans-serif;">MindSearch is an open-source AI Search Engine Framework with Perplexity.ai Pro performance. You can deploy your own Perplexity.ai-style search engine using either closed-source LLMs (GPT, Claude) or open-source LLMs (InternLM2.5-7b-chat).</p>""")
    gr.HTML("""
    <div style="text-align: center; font-size: 16px;">
        <a href="https://github.com/InternLM/MindSearch" style="margin-right: 15px; text-decoration: none; color: #4A90E2;">🔗 GitHub</a>
        <a href="https://arxiv.org/abs/2407.20183" style="margin-right: 15px; text-decoration: none; color: #4A90E2;">📄 Arxiv</a>
        <a href="https://huggingface.co/papers/2407.20183" style="margin-right: 15px; text-decoration: none; color: #4A90E2;">📚 Hugging Face Papers</a>
        <a href="https://huggingface.co/spaces/internlm/MindSearch" style="text-decoration: none; color: #4A90E2;">🤗 Hugging Face Demo</a>
    </div>
    """)
    with gr.Row():
        with gr.Column(scale=10):
            with gr.Row():
                with gr.Column():
                    planner = gr.Chatbot(label='planner',
                                         height=700,
                                         show_label=True,
                                         show_copy_button=True,
                                         bubble_full_width=False,
                                         render_markdown=True)
                with gr.Column():
                    searcher = gr.Chatbot(label='searcher',
                                          height=700,
                                          show_label=True,
                                          show_copy_button=True,
                                          bubble_full_width=False,
                                          render_markdown=True)
            with gr.Row():
                user_input = gr.Textbox(show_label=False,
                                        placeholder='帮我搜索一下 InternLM 开源体系',
                                        lines=5,
                                        container=False)
            with gr.Row():
                with gr.Column(scale=2):
                    submitBtn = gr.Button('Submit')
                with gr.Column(scale=1, min_width=20):
                    emptyBtn = gr.Button('Clear History')

    def user(query, history):
        return '', history + [[query, '']]

    submitBtn.click(user, [user_input, planner], [user_input, planner],
                    queue=False).then(predict, [planner, searcher],
                                      [planner, searcher])
    emptyBtn.click(rst_mem, [planner, searcher], [planner, searcher],
                   queue=False)

demo.queue()
demo.launch(server_name='0.0.0.0',
            server_port=7860,
            inbrowser=True,
            share=True)

然后上传到huggingface上即可。

结果截图：
在这里插入图片描述

7. MindSearch体验

体验链接：https://huggingface.co/spaces/Alannikos768/MindSearch_App
欢迎使用，不要忘记点个like哦~

Alannikos

关注

11
点赞
踩
8

收藏

觉得还不错? 一键收藏
0
评论
第三期书生大模型实战营之MindSearch 部署

MindSearch是由上海人工智能实验室开发的一个基于大语言模型（LLM）和搜索引擎相结合的系统，继 OpenAI 发布 SearchGPT 之后，国内也涌现出一批优秀的AI搜索引擎，其中，由中科大和上海人工智能实验室联合研发的 MindSearch（思·索）尤为引人注目。这款开源AI搜索引擎，不仅性能媲美Perplexity.ai Pro，更重要的是，它跳脱了传统搜索引擎的窠臼，不再仅仅依赖关键词匹配，而是模拟人类的思维过程，深度理解用户的搜索意图，并提供更精准、更全面的搜索结果。
复制链接

扫一扫

专栏目录