在私有数据上进行智能搜索和分析的工具DeepSearcher-CSDN博客

本文链接：https://blog.csdn.net/m0_59235945/article/details/147949463

项目简介

DeepSearcher 结合推理LLMs（OpenAI o1、o3-mini、DeepSeek、Grok 3、Claude 3.7 Sonnet、QwQ 等）和向量数据库（Milvus、Zilliz Cloud 等）以对私有数据进行搜索、评估和推理，提供高度准确的答案和全面报告。此项目适用于企业知识管理、智能问答系统和信息检索场景。

🚀 特点

私有数据搜索：最大化利用企业内部数据的同时确保数据安全。必要时，可集成在线内容以提供更准确的答案。
向量数据库管理：支持 Milvus 和其他向量数据库，允许数据分区以提高检索效率。
灵活的嵌入选项：兼容多种嵌入模型，以实现最佳选择。
多种支持：支持 DeepSeek、OpenAI 和其他大型模型进行智能问答和内容生成。
文档加载器：支持本地文件加载，正在开发网页爬取功能。

🎉 示例

快速开始

安装

使用 pip 安装 DeepSearcher：

# Clone the repositorygit clone https://github.com/zilliztech/deep-searcher.git
# MAKE SURE the python version is greater than or equal to 3.10# Recommended: Create a Python virtual environmentcd deep-searcherpython3 -m venv .venvsource .venv/bin/activate
# Install dependenciespip install -e .

准备您的 OPENAI_API_KEY 到环境变量中。如果您更改配置中的LLM，请确保准备相应的 API 密钥。

快速开始演示

from deepsearcher.configuration import Configuration, init_configfrom deepsearcher.online_query import query
config = Configuration()
# Customize your config here,# more configuration see the Configuration Details section below.config.set_provider_config("llm", "OpenAI", {"model": "o1-mini"})config.set_provider_config("embedding", "OpenAIEmbedding", {"model": "text-embedding-ada-002"})init_config(config = config)
# Load your local datafrom deepsearcher.offline_loading import load_from_local_filesload_from_local_files(paths_or_directory=your_local_path)
# (Optional) Load from web crawling (`FIRECRAWL_API_KEY` env variable required)from deepsearcher.offline_loading import load_from_websiteload_from_website(urls=website_url)
# Queryresult = query("Write a report about xxx.") # Your question here

配置详情：

LLM 配置

config.set_provider_config("llm", "(LLMName)", "(Arguments dict)")

“LLMName” 可以是以下之一：[“DeepSeek”, “OpenAI”, “XAI”, “SiliconFlow”, “PPIO”, “TogetherAI”, “Gemini”, “Ollama”]

“Arguments dict” 是一个字典，包含 LLM 类所需的参数。

嵌入模型配置

config.set_provider_config("embedding", "(EmbeddingModelName)", "(Arguments dict)")

“EmbeddingModelName” 可以是以下之一：[“MilvusEmbedding”, “OpenAIEmbedding”, “VoyageEmbedding”, “SiliconflowEmbedding”]

“参数字典”是一个包含嵌入模型类所需参数的字典。

向量数据库配置

“VectorDBName” 可以是以下之一：[“Milvus”]（开发中）

“Arguments dict” 是一个包含向量数据库类所需参数的字典。

文件加载器配置

config.set_provider_config("file_loader", "(FileLoaderName)", "(Arguments dict)")

网络爬虫配置

config.set_provider_config("web_crawler", "(WebCrawlerName)", "(Arguments dict)")

“WebCrawlerName” 可以是以下之一：[“FireCrawlCrawler”, “Crawl4AICrawler”, “JinaCrawler”]

“Arguments dict” 是一个包含 Web Crawler 类所需参数的字典。

Python 命令行界面模式

加载

deepsearcher load "your_local_path_or_url"# load into a specific collectiondeepsearcher load "your_local_path_or_url" --collection_name "your_collection_name" --collection_desc "your_collection_description"

示例：从本地文件加载

deepsearcher load "/path/to/your/local/file.pdf"# or more files at oncedeepsearcher load "/path/to/your/local/file1.pdf" "/path/to/your/local/file2.md"

查询

deepsearcher query "Write a report about xxx."

更多帮助信息

deepsearcher --help

若要获取有关特定子命令的更多帮助信息，可以使用 deepsearcher [subcommand] --help 。

deepsearcher load --helpdeepsearcher query --help

部署

配置模块您可以通过修改 config.yaml 来配置所有参数，以使用默认模块设置您的系统。例如，在 YAML 文件的 `llm` 部分设置您的 `OPENAI_API_KEY` 。

启动服务

主脚本将以默认地址 localhost:8000 运行 FastAPI 服务。

$ python main.py

通过浏览器访问

您可以在浏览器中打开 url http://localhost:8000/docs 以访问该网络服务。点击“试一试”按钮，允许您填写参数并直接与 API 交互。

如何学习大模型 AI ？

由于新岗位的生产效率，要优于被取代岗位的生产效率，所以实际上整个社会的生产效率是提升的。

但是具体到个人，只能说是：

“最先掌握AI的人，将会比较晚掌握AI的人有竞争优势”。

这句话，放在计算机、互联网、移动互联网的开局时期，都是一样的道理。

我在一线互联网企业工作十余年里，指导过不少同行后辈。帮助很多人得到了学习和成长。

我意识到有很多经验和知识值得分享给大家，也可以通过我们的能力和经验解答大家在人工智能学习中的很多困惑，所以在工作繁忙的情况下还是坚持各种整理和分享。但苦于知识传播途径有限，很多互联网行业朋友无法获得正确的资料得到学习提升，故此将并将重要的AI大模型资料包括AI大模型入门学习思维导图、精品AI大模型学习书籍手册、视频教程、实战学习等录播视频免费分享出来。

在这里插入图片描述