【LLM 应用开发框架，聊天机器人平台、开源选用】

1、开源的 LLM 应用开发框架

（1）无代码拖拉拽

无代码拖拉	地址	⭐️
Langflow	https://github.com/langflow-ai/langflow	25.2k
Flowise	https://github.com/FlowiseAI/Flowise.git	29K flow & Al agents

（2）商用的平台

商用的平台：字节豆包、海外coze

（3）其他LLM 应用开发框架 (开源 )

• Deepset Haystack：这是一个开源框架，它基于 Hugging Face Transformers，提供了丰富的工具来查询和理解文本数据。你可以用它来构建由 LLM、Transformer 模型和向量搜索等技术驱动的应用。
  https://haystack.deepset.ai
• LlamaIndex：这是一个数据框架，它可以轻松地将大型语言模型连接到你的自定义数据源，方便你进行数据的存储、查询和索引。
• https://www.llamaindex.ai
• LangChain：对于 LLM 应用开发入门者来说，这是一个必选的工具。
  https://www.langchain.com
• Prompt flow：这是微软开源的一套开发工具，旨在简化基于 LLM 的应用的开发周期。它让提示工程变得更加容易，并帮助你构建具有生产质量的 LLM 应用。
  https://microsoft.github.io/promptflow

2、LLM 驱动的知识库和聊天机器人平台 应用开发平台

开源产品

• FastGPT：基于LLM大语言模型的知识库问答系统，提供开箱即用的功能。

FastGPT是一个基于LLM大语言模型的知识库问答系统,提供开箱即用的数据处理、模型
调用等能力。同时可以通过Flow可视化进行工作流编排,从而实现复杂的问答场景!
1.通过导入文档或已有问答对进行训练,让AI模型能根据你的文档以交互式对话方式回
答问题。
2.FastGPT采用直观的可视化界面设计,为各种应用场景是供了丰富实用的功能。通过简
洁易懂的操作步骤,可以轻松完成AI客服的创建和训练流程。
3.提供手动输入、直接分段、LLM自动处理和CSV等多种数据导入途径,其中"直接分
段"支持通过PDF、WORD、Markdown和CSV文档内容作为上下文。FastGPT会自动
对文本数据进行预处理、向量化和QA分割,节省手动训练时间,提升效能。
4.基于Flow模块的工作流编排,可以帮助你设计更加复杂的问答流程。例如查询数据
库、查询库存、预约实验室等
5.FastGPT对外的API接口对齐了OpenAl官方接口,可以直接接入现有的GPT应用,也
可以轻松集成到企业微信、公众号、飞书等平台。
https://fastgpt.run

• Dify：集成第三方API插件能力的平台，提供数据准备、Prompt Engineering等功能。

集成了第三方API插件能力,
1.数据准备:平台提供数据收集和预处理工具,简化了数据清洗和标注的工作,最小化甚
至消除了编码工作。
2.Prompt Engineering:所见即所得的Prompt编辑和调试,可根据用户输入的数据进行
实时优化和调整。
3.嵌入和上下文管理:自动处理长上下文的嵌入、存储和管理,提高效率和扩展性,无需
编写大量代码。
4.应用监控与维护:实时监控性能数据,快速发现和处理问题,确保应用程序的稳定运
行,提供完整的日志记录。
5.模型微调:平台提供一键微调功能,基于过去已标注的真实使用数据进行训练,提高模
型性能,减少编程工作。
6.系统和运营:易用的界面,非技术人员也可参与,支持多人协同,降低开发和维护成
本。与传统开发方式相比,Dify提供了更加透明和易于监控的应用管理,让团队成员更
好地了解应用的运行情况。
https://dify.ai/zh

• 毕昇：基于大语言模型的应用开发运维一体化平台。
  https://github.com/dataelement/bisheng

闭源产品

Baseplate
Connect Your Data to LLM Apps，Baseplate 是一种为 LLM 应用优化的后端。团队可以使用我们的多模态上下文数据库通过简单的电子表格界面构建丰富的用户体验。这意味着您不需要再维护和管理矢量和常规数据的分开的数据库了！使用 Baseplate，团队可以部署一个聊天 GPT 应用程序，从文档、缩略图、链接、图片等中获取特定领域的信息。（谁知道，也许下一个 GPT 模型也是多模态的）主要特点包括：灵活的混合数据库、数据库管理、智能搜索、应用程序构建器和端点。

入选了 YC W23（Y Combinator 2023 年冬季批次）

Stack AI
是一种无代码工具，允许使用 ChatGPT 等模型设计、测试和部署 AI 工作流程，设计并测试工作流程后，可以一键将其发布为 Wechat，Web Chat API，此外还可以优化提示、收集数据并微调 LLM 工作流程，已经有付费企业用户在使用了，完成度最好的同类产品。

• 聊天机器人和助手：使用内部数据和 API 与用户交互、回答问题并完成任务。
• 文档处理：从任何文档中提取见解、提供摘要并回答问题，无论其长度如何。
  回答有关数据库的问题：将 ChatGPT 等模型连接到 Notion、Airtable 或 Postgres 等数据库，以获得有关您的组织的宝贵见解。
• 内容创建：生成标签、摘要，并在文档和数据源之间无缝传输样式或格式。

Relevance AI
服务了 20 多家企业级客户，包括联合利华这样的公司。

3、提示词交流社区和交易平台，

例如PromptBase、FlowGPT、PromptHero，它们为普通用户提供了自己的提示词管理工具。

4、这是我目前的选择

我选择开源工具组合：
1、评估 LLM prompttools用于试验、测试和评估 LLM，矢量数据库召回内容，以及
2、提示词 使用 Agenta 作为提示词管理工具进行评估测试，
3、Helicone 用于运行过程监控。