【Ai】使用AnythingLLM访问DeepSeek,界面友好,API调用

本文假设已经安装好Ollama
如果还没安装可以看见这个https://blog.csdn.net/wlddhj/article/details/145418880

AnythingLLM是Mintplex Labs推出的一款功能强大的全栈AI应用程序:

功能特点

  1. 支持多种LLM和数据库:支持OpenAI、Azure OpenAI、AWS Bedrock、Google Gemini Pro、Hugging Face等众多主流大语言模型,兼容LanceDB、Astra DB、Pinecone、Chroma等多种向量数据库。
  2. 自定义AI代理:用户可根据自身需求创建和配置专属的AI代理,例如为特定的科研任务或业务流程定制代理,使其能更高效地处理相关任务。
  3. 多模态支持:对闭源和开源的LLM都提供多模态支持,可轻松处理文本、图像、音频等多种类型的数据。
  4. 多用户管理:Docker版本支持多用户实例及权限管理,设有管理员、manager和普通用户三种角色,满足团队协作中不同成员的权限需求。
  5. 广泛文档支持:可处理PDF、TXT、DOCX、JSON等多种文档类型,还能通过内置数据连接器集成GitHub、YouTube、Confluence等多种数据源。
  6. 便捷聊天界面:具有简单的聊天UI,支持拖放功能,在聊天时可明确引用文档内容,方便用户追溯信息来源。
  7. 云部署与本地部署:完全支持云部署,也可在本地部署LLM模型,方便用户根据自身需求和数据安全要求进行选择。
  8. 成本优化:处理大型文档时高效省资源,只需一次嵌入,成本比其他解决方案节省90%。
  9. 开发者API:提供完整的开发者API,便于开发者进行定制化扩展和集成,可根据需求二次开发,扩展AnythingLLM的功能。

安装

1、打开 “https://anythingllm.com/desktop” 下载合适的版本
在这里插入图片描述
2、双击安装包即可安装,选择Ollama

在这里插入图片描述

在这里插入图片描述

3、创建工作区,这里使用 mydemo,点击设置,先把语言改成中文

在这里插入图片描述

配置搜索功能

点击“代理技能-Web Search”打开开关,选择免费的“DuckDuckGo”搜索,然后要点右上角的“Save”按钮进行保存设置,需要科学上网才能使用。

通过“@agent + 提示词”的方式启用搜索功能。

在这里插入图片描述

上传个人知识库

1、修改设置,把嵌入模型改成Ollama的模型
在这里插入图片描述

2、点击工作区的上传图标,上传个人本地知识库,并将知识库固定在工作区中

在这里插入图片描述

3、问一个问题试试,点击Hide Citations,可以看见引用我们上传的文件

在这里插入图片描述

使用API调用AnythingLLM

1、生成API密钥,使用代码通过接口来调用模型

在这里插入图片描述

2、复制API秘钥,然后点击“阅读API文档”打开API接口文档,点击右边的“Authorize”按钮,把API秘钥复制进去,然后就可以调试接口了

在这里插入图片描述
3、python代码调用示例

import requests
import json
headers = {
    'Content-Type': 'application/json',
    'accept': 'application/json',
    'Authorization': 'Bearer EKPS7BR-26X40XR-MD77Y6E-5FRYHRH'}

def loadData():
    url = 'http://localhost:3001/api/v1/workspace/mydemo/chat'
    data = json.loads('{"message":"什么是 聚苯乙烯(PS)","mode":"chat"}')
    response = requests.post(url=url, json=data, headers=headers)
    dict_obj = response.json()
    #print(dict_obj)
    resp_data = dict_obj['textResponse']
    print(resp_data)

    print('All done')


if __name__ == '__main__':
    loadData()
    print('执行完成')

返回如下信息:

<think>
嗯,我需要解释聚苯乙烯是什么。首先,它是一种塑料材料,广泛用于制造包装、薄膜和工业产品。

我要告诉用户它是从石油或天然气中提取的石油 resin。

还需要提到它有很多类型,如HDPE、LDPE等,并说明它的优点,比如耐用性和可回收性。
</think>

聚苯乙烯(Polyethylene Stabilized with Phenolic Groups, PS)是一种常见的塑料材料。它是通过将苯乙烯单体与苯环的稳定化剂在催化剂作用下聚合而成。

聚苯乙烯有多种类型,如高密度聚苯乙烯(HDPE)、低密度聚苯乙烯(LDPE)和中密度聚苯乙烯(MDPE),它们根据分子结构和性能不同。PS塑料具有优良的机械强度、耐化学腐蚀性和可加工性,广泛应用于包装材料、薄膜工业、电子行业等。

此外,聚苯乙烯塑料是可回收塑料的一种,具有良好的环境特性,常用于制造可降解包装材料。
内容概要:本文档主要介绍了DeepSeek AI的三种使用方法——官网直接调用API调用(通过硅基流动和华为云平台)、以及本地部署。首先,针对官网调用,文中指出尽管推理速度快且质量高,但在高峰期可能面临服务器繁忙的问题;其次,详述了API调用的具体步骤,包括注册硅基流动账号以获得必要的API密钥,随后利用ChatBox客户端进行具体调用;再者,针对那些希望拥有更高控制权限或是寻求离线解决方案的用户,则提供了本地部署的方法,这涉及安装并配置LM Studio,从Hugging Face代理搜索并下载DeepSeek-R1的不同版本,根据自己的硬件条件选择合适的模型尺寸以平衡运算速度与结果精度。每种方式都有其特点和限制条件。 适合人群:具有一定的技术背景,特别是对于AI或自然语言处理感兴趣的开发者或研究者。同时,也适用于需要频繁接触文字智能解析任务的专业人士和高级爱好者。 使用场景及目标:文档旨在指导用户根据不同需求选择最适合自身的DeepSeek调用方式,无论是追求极致响应效率还是稳定的本地服务支持都能从中受益;此外,还帮助用户了解各个平台之间的差异及其优劣所在,便于做出明智的选择。 阅读建议:鉴于文中涉及到多种技术和操作层面的内容,读者应关注各部分实际执行环节的关键要素,并参照自己实际环境条件评估最佳实施方案。例如,在考虑API调用时注意Token的有效管理和ChatBox界面下的正确设置,在本地部署前确保机器硬件满足最低要求,尤其是对于不同版本模型的选取需依据自身情况决定。
<think>嗯,用户想了解有哪些好用的AI知识库管理工具,特别是用来管理本地Ollama的DeepSeek。首先,我需要确认用户的具体需求。Ollama是一个在本地运行大型语言模型的工具,而DeepSeek可能是指深度求索公司的模型,比如深度搜索或他们开发的特定模型。用户需要的是能够有效管理这些本地模型的知识库工具。 首先,我应该回顾一下常见的AI知识库管理工具,尤其是支持本地部署和与Ollama集成的。可能涉及到的工具包括PrivateGPT、LangChain、LlamaIndex、Ollama本身的功能,还有可能其他开源项目如AnythingLLM、LocalAI、Chroma DB等。 接下来,我需要考虑这些工具是否支持本地管理,能否与Ollama的API对接,是否有文档管理、检索增强生成(RAG)功能,用户界面是否友好,是否开源或免费等等。例如,PrivateGPT专注于本地文档的隐私保护,适合处理敏感数据;LangChain和LlamaIndex则更侧重于构建和编排AI应用,适合开发者;AnythingLLM提供图形界面,可能对非技术用户更友好。 另外,用户提到的是管理DeepSeek模型,可能需要确认这些工具是否支持自定义模型或特定格式的模型文件。Ollama本身支持导入自定义模型,所以这些工具是否能通过Ollama的API进行交互也很重要。例如,使用Ollama作为后端,通过其提供的API,前端工具如AnythingLLM或PrivateGPT可以调用本地模型进行处理。 可能还需要考虑工具的数据处理能力,比如是否支持多种格式的文档导入,是否有自动化处理流程,如文本分块、向量化存储、语义搜索等。例如,Chroma作为向量数据库,常与LangChain结合使用,而LlamaIndex专门优化了检索功能。 另外,用户可能希望有一个集成的解决方案,能够方便地管理知识库和调用模型,所以需要评估各个工具在这方面的整合能力。例如,LocalAI可以替代OpenAIAPI,可能方便与现有工具集成,但如果用户已经使用Ollama,可能需要不同的适配方式。 还需要考虑社区支持和更新频率,比如AnythingLLM是否持续更新,是否有活跃的社区解决问题。PrivateGPT虽然功能强大,但可能需要较多的配置,对于非技术用户可能不太友好。 总结下来,可能的推荐包括:1. Ollama自带的功能,结合脚本或简单前端;2. AnythingLLM作为图形界面;3. LangChain + LlamaIndex + Chroma的组合,适合开发者;4. PrivateGPT适合注重隐私的文档处理;5. LocalAI作为替代API方案。需要分别介绍每个工具的特点、如何与Ollama集成、优缺点,以及适用场景。 同时,用户可能希望步骤清晰,如何安装配置这些工具,是否需要额外依赖,比如Docker或者Python环境。例如,AnythingLLM提供Docker镜像,可能更易于部署;而LangChain需要Python编程,适合有一定技术背景的用户。 最后,需要确保推荐的工具确实支持本地部署,并且与Ollama兼容,可能通过REST API调用本地模型。例如,AnythingLLM允许设置本地Ollama的API端点,从而使用其管理的模型进行问答和知识库管理。</think>以下是几款适合管理本地Ollama模型(如DeepSeek)的AI知识库工具,它们支持文档管理、本地化部署及高效检索: --- ### **1. AnythingLLM** - **特点** - 开源且提供商业版,支持本地部署,集成多种AI模型(包括Ollama)。 - 直观的图形界面,支持上传PDF、TXT、Word等文档,自动分块、向量化存储。 - 直接对接Ollama API,可调用本地运行的DeepSeek模型进行问答。 - **集成Ollama** 在设置中填入Ollama的本地API地址(如`http://localhost:11434`),选择模型即可。 - **优势** 无需编程,适合非技术用户,支持多用户协作和权限管理。 - **项目地址** [AnythingLLM GitHub](https://github.com/Mintplex-Labs/anything-llm) --- ### **2. PrivateGPT** - **特点** - 完全本地运行的隐私优先工具,适合处理敏感数据。 - 支持文档问答,自动生成向量数据库(使用Hugging Face嵌入模型)。 - 可通过修改配置调用Ollama的API替代默认模型。 - **集成Ollama** 修改配置文件中的模型API端点,指向本地Ollama服务。 - **优势** 数据永不离开本地,支持GPU加速,适合安全需求高的场景。 - **项目地址** [PrivateGPT GitHub](https://github.com/imartinez/privateGPT) --- ### **3. LangChain + LlamaIndex + Chroma** - **特点** - 开发者友好组合:LangChain(应用编排)、LlamaIndex(文档检索优化)、Chroma(向量数据库)。 - 灵活定制工作流,支持复杂查询和RAG(检索增强生成)。 - 通过代码调用Ollama API,无缝集成DeepSeek模型。 - **集成Ollama** ```python from langchain_community.llms import Ollama llm = Ollama(base_url="http://localhost:11434", model="deepseek-llm") ``` - **优势** 高度自定义,适合需要复杂逻辑和扩展性的项目。 - **教程参考** [LangChain Ollama集成文档](https://python.langchain.com/docs/integrations/llms/ollama) --- ### **4. LocalAI** - **特点** - 本地替代OpenAI API的开源工具,兼容Ollama模型格式。 - 支持加载GGUF等格式模型文件,提供类OpenAIAPI接口。 - 可与其他工具(如AnythingLLM)结合,简化集成。 - **集成Ollama** 将DeepSeek模型转换为兼容格式(如GGUF),通过LocalAI加载并提供API。 - **优势** 兼容生态广泛,适合已有基于OpenAI API的应用迁移到本地。 - **项目地址** [LocalAI GitHub](https://github.com/mudler/LocalAI) --- ### **5. Ollama-WebUI** - **特点** - 专为Ollama设计的轻量级Web界面,支持基础文档交互。 - 可扩展插件实现文档上传和检索功能。 - **集成Ollama** 直接与本地Ollama服务通信,无需额外配置。 - **优势** 部署简单,适合快速测试模型基础能力。 - **项目地址** [Ollama-WebUI GitHub](https://github.com/ollama-webui/ollama-webui) --- ### **选择建议** - **非技术用户**:优先选AnythingLLM或Ollama-WebUI,图形化操作省心。 - **开发者/定制需求**:用LangChain+LlamaIndex组合,灵活构建工作流。 - **隐私敏感场景**:PrivateGPT确保数据完全本地处理。 - **兼容性需求**:LocalAI适配现有OpenAI生态工具。 部署时需确保环境依赖(如Docker/Python)正确安装,具体步骤参考各项目文档。
评论 7
添加红包

请填写红包祝福语或标题

红包个数最小为10个

红包金额最低5元

当前余额3.43前往充值 >
需支付:10.00
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包

打赏作者

顽石九变

你的鼓励将是我创作的最大动力

¥1 ¥2 ¥4 ¥6 ¥10 ¥20
扫码支付:¥1
获取中
扫码支付

您的余额不足,请更换扫码支付或充值

打赏作者

实付
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明:

1.余额是钱包充值的虚拟货币,按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载,可以购买VIP、付费专栏及课程。

余额充值