MindPilot：一款基于MindSpore和MindNLP的开源智能助手——基于MindPilot和MindNLP的智能AI Agent助手MindPilot正式开源！

青云遮夜雨

已于 2024-10-08 10:06:11 修改

阅读量987

点赞数 25

分类专栏： MindSpore 文章标签：人工智能自然语言处理 Agent

于 2024-10-08 10:02:02 首次发布

本文链接：https://blog.csdn.net/qq_51957239/article/details/142752489

版权

MindSpore 专栏收录该内容

1 篇文章 0 订阅

订阅专栏

MindPilot：一款基于MindSpore和MindNLP的开源智能助手

基于MindPilot和MindNLP的智能AI Agent助手MindPilot正式开源！

github仓库：https://github.com/ResDream/MindPilot

欢迎各位 Fork / Star

在人工智能（AI）技术飞速发展的今天，智能助手逐渐成为人们日常工作和生活中的重要工具。MindPilot的推出，是为了提供更加灵活、安全且高效的智能解决方案。

MindPilot是一个跨平台的多功能智能Agent桌面助手，旨在为用户提供便捷、高效的智能解决方案。通过集成先进的大语言模型作为核心决策引擎，MindPilot能够对用户的任务进行精准分解、规划、执行、反思和总结，确保任务的高效完成。同时提供了高度自定义化的Agent，用户可以根据需求自定义不同身份的Agent，以应对多样化的任务场景，实现个性化的智能服务。在MindSpore和MindNLP的支持下，MindPilot支持Windows、macOS和Linux等主流操作系统，并兼容多种在线模型API和本地模型，能流畅运行在CPU，GPU，Ascend设备上。

系统设计

系统架构图展示了MindPilot智能Agent桌面助手的整体架构和关键模块。该系统通过Electron框架提供跨平台的用户界面，支持Windows、macOS和Linux操作系统。核心功能模块包括基于LangChain框架的Agent对话模块、工具管理模块和知识库管理模块，确保系统能够高效处理用户任务并提供智能交互。Agent对话模块能够自主思考、决策并调用工具，知识库管理模块结合图数据库和向量数据库，实现高效的知识检索。工具管理模块支持OpenAI Function Call标准，允许用户灵活扩展功能。此外，统支持在线和离线模型的集成，适配多种主流大模型平台，并能在不同硬件平台上高效运行，提供强大的自然语言处理能力。

系统架构图

系统流程图展示了MindPilot智能Agent桌面助手的整体工作流程和架构。系统由用户交互层、会话管理模块、语言模型（LLM）、工具库以及知识库组成。用户通过界面发出任务，会话管理模块将其解析并决定是否调用语言模型或工具库。语言模型负责理解和生成响应，工具库则执行具体任务如文件处理和API集成，必要时访问图数据库和向量数据库来提高任务精确性。最终结果通过会话管理模块返回给用户，确保系统灵活高效地完成任务并提供精准智能的解决方案。

系统流程图

灵活模型配置，提升智能助手效能

传统的智能助手通常依赖单一的语言模型，限制了模型的灵活性和适用性。而MindPilot通过对主流在线模型平台的支持，极大地提升了智能助手的功能性和适应性。用户可以方便地集成OpenAI、智谱、百度、讯飞等所有兼容OpenAI API的大模型平台，根据任务需求灵活切换模型，确保在各类应用场景下提供最佳的智能支持。同时，MindPilot也支持离线模型部署，适用于对数据隐私和网络环境有特殊要求的用户。

MindSpore作为华为自研的全场景AI框架，不仅能在CPU、GPU和Ascend等硬件上高效运行，还能通过与MindNLP的集成，为用户提供高度定制化的本地自然语言处理能力。无论是需要低延迟的任务，还是严守数据隐私的场景，MindPilot都能灵活应对，帮助用户在不依赖外部网络的情况下处理复杂任务。

跨平台兼容，确保一致性使用体验

MindPilot特别注重跨平台的兼容性，能够在Windows、macOS和Linux操作系统上无缝运行。基于Electron框架开发的跨平台桌面应用，确保了用户无论在哪个平台上使用，均能获得一致、流畅的操作体验。

这种广泛的操作系统支持使得MindPilot可以在企业内的多种硬件环境中无缝部署。无论员工使用的是Windows台式机，还是MacBook，或者基于Linux的开发环境，MindPilot都能成为他们的智能助手，提升工作效率。

基于Langchain框架的自定义Agent，个性化智能服务

与市场上现有的智能助手相比，MindPilot最大的创新之一在于其强大的Agent自定义功能。借助LangChain框架的Agent流程，用户可以根据具体需求定义多个Agent，赋予每个Agent不同的角色、行为和工具配置，以应对各种复杂任务场景。通过这种高度灵活的配置，MindPilot不仅能够处理简单的日常任务，还能在复杂的业务场景中展现其优势。

配置Agent智能体界面

MindPilot提供高度的自定义Agent配置，包括自定义图标，名称，简介和具体的配置信息，用户还可以选择要使用的工具和知识库，并配置对话模型的温度，最大长度等参数。

丰富的智能工具调用

此外，MindPilot提供了六种内置工具，涵盖用户使用的方方面面调用，能够扩展和管理多种工具，支持从文件处理到API调用的各类任务，甚至未来用户还可以自定义新工具，进一步扩展系统功能。无论是在日常任务处理还是复杂工具链整合方面，MindPilot都能为用户提供最佳的工作体验。

搜索外挂知识库工具旨在帮助Agent访问和检索预先定义的知识库内容。该工具集成了RAG（Retrieval-Augmented Generation）技术，能够在生成回答时动态检索知识库中的相关内容，并将其与生成模型的输出结合，从而提供更加精确和上下文相关的回答
搜索互联网工具允许Agent实时查询互联网，获取最新的信息和数据。
计算器工具为Agent提供了执行各种数学计算的能力。
论文搜索工具帮助Agent检索学术数据库，找到相关的学术论文和研究资料
命令执行工具允许Agent在受控环境下运行各种命令行操作。这一工具可用于执行系统命令、脚本文件或其他自动化任务，帮助用户完成系统管理、文件处理和自动化操作。它提供了强大的操作能力，使Agent可以直接与底层系统进行交互。
天气查询工具为Agent提供了获取当前和未来天气信息的功能。

基于MindNLP的知识库管理

MindPilot的知识库采用Faiss向量数据库来存储和管理文本数据，知识库通过对文本数据进行向量化处理，将其转化为多维向量进行存储。

Faiss向量数据库专为大规模相似性搜索和高维向量聚类设计。它通过优化的索引结构和并行计算技术，能够在海量数据中快速找到与查询向量最相似的向量，适用于图像识别、自然语言处理等需要高效向量搜索的场景。Faiss支持多种索引类型，包括精确搜索和近似搜索，能够在保持高精度的同时显著提升搜索速度，是处理大规模向量数据的理想选择。

在Embedding的选择和RAG技术的使用上，MindPilot借鉴了QAnything使用的技术。

我们使用了bce-embedding-base_v1模型进行文本的向量化，是目前最强的Embedding模型，有非常强大的双语和跨语种能力，能消除语义检索里面的中英语言之间的差异

在RAG技术的设计上，首先进行文档的解析和分割。然后通过Embedding模型将文本转换为向量。存储在数据库中。

当用户提出查询时，系统首先用大语言模型(LLM)理解查询意图，然后进行两轮检索：第一轮使用嵌入方法从数据库检索相关文档块，第二轮对这些文档块进行重新排序。排序后的文档块被送入另一个LLM阅读器，结合原始查询生成最终答案。整个过程形成了一个完整的管道，从查询理解到信息检索，再到答案生成，旨在提供更精确、有依据的回答，提高问答系统的准确性和相关性。

RAG架构

为什么是两阶段检索?

知识库数据量大的场景下两阶段优势非常明显，如果只用一阶段embedding检索，随着数据量增大会出现检索退化的问题，如下图中绿线所示，二阶段rerank重排后能实现准确率稳定增长，即数据越多，效果越好。

QAnything项目中提出的两阶段检索技术

界面和效果展示

对话界面

默认Agent

自定义Agent并结构化输出

知识库搜索

未来发展：基于MindSpore和MindNLP的持续创新

兼容更多的离线模型：基于MindNLP的支持，我们的MindPilot在未来会支持更多更全的离线模型，并提供离线的Agent能力，保证数据安全性和隐私性。

增加更多工具，并设计自定义工具模板：将扩展系统的工具库，增加更多工具的集成，并设计自定义工具模板。这将允许用户根据自身需求，灵活配置和使用各种工具，进一步增强系统的多功能性。自定义工具模板功能的开发将使用户能够快速将新工具集成到系统中，满足不同任务的需求。

为垂直行业的模型增加更客制化：为特定行业（如医疗、金融、法律等）定制优化模型，并集成行业专属的工具和功能模块。这一迭代将使MindPilot在这些领域展现出更强的专业性，从而吸引更多的行业用户，扩大我们的市场份额。

安装教程

克隆

git clone https://github.com/ResDream/MindPilot.git

前端

   cd Frontend
   yarn
  
  # 为指定平台构建:
   # Windows 平台
    $ yarn build:win
    
    # macOS 平台
    $ yarn build:mac
    
    # Linux 平台
    $ yarn build:linux

后端

    # 安装依赖
    pip install -r requirements.txt

使用指南

启动MindPilot:

   # 前端
   cd Frontend
   yarn dev
   
   # 后端
   cd src/mindpilot
   python main.py

配置搜索功能:

打开文件 src/mindpilot/app/configs/tool_config.py。在如下代码中填入 Bing 搜索 API:

    "search_internet": { 
            "use": False, 
            "search_engine_name": "bing", 
            "search_engine_config": { 
                "bing": { 
                    "result_len": 3, 
                    "bing_search_url": "https://api.bing.microsoft.com/v7.0/search", 
                    "bing_key": "", 
                }, 
            },