低代码LLM应用构建 OneCityChains平台

        2023年的科技圈，如果说有什么出圈热词，那一定是大模型。ChatGPT的爆火，将大模型带入公众视线，国内大模型也是发展迅速，呈现“百模大战”的趋势，比如我们熟知的百度文心一言，阿里的通义千文，科大讯飞的星火大模型等等，但是面临这么多的大模型，我们该如何选择，大模型对于GPU资源要求较高，尤其对于想私有化部署（搭建自有知识库）的企业来说，如何快速低成本的部署一套属于自己的大模型产品，显得尤为迫切，我们团队开发了一套基于langchain+reactflow+express的低代码LLM构建应用平台。

一、系统架构设计

OneCityChains系统以业务为基础、应用为核心、技术为支撑，面向不同用户的智能化需求，采用如下系统架构：

1）基础平台层

打造基础平台，实现全球各类大语言模型的统一接入，通过平台实现大模型的高效管理和利用，进行统一纳管、监控、应用、配置等操作，此外，还可对模型参数进行微调，进而实现模型能力的优化提升。

2）业务支撑层

包含应用管理、知识库管理、数据库管理、模型管理、流程编排、密钥管理等模块，共同构成业务支撑体系，为平台的正常运行提供了重要支持。

3）集成组件层

业务编排中不同类型的数据节点统称为组件，平台提供模型、工作链、提示词、索引、记忆器、代理等多种类型组件，通过拖拉拽，共同构建出具体的数据处理流程。

4）业务应用层

平台为提供丰富的应用模版和编排框架，用户也可自定义拖拽出符合需求的应用，共同构成各种通用应用及行业应用，以满足不同的业务场景

二、产品优势

1、即开即用

内置应用中心，提供开箱即用的各种应用，可一键启动、运行和使用应用；

2、可视化图形编排

平台提供一套直观的图形化应用构建系统，包含数百种应用组件，可通过画布编排、拖拽的方式，无需编程即可定制复杂的AI应用，以满足不同的业务场景；

3、支持多种模型

平台可接入全球各类大语言模型，实现统一纳管、应用、配置等操作，进而实现模型能力的优化提升；

4、私有化部署

提供本地大语言模型部署能力，用户可完全掌握模型训练及推理过程中涉及的数据，从而保证信息安全和隐私数据；

5、强大的对外集成能力

可通过API、SDK以及嵌入式聊天等方式，轻松将大模型能力集成到外部应用程序中，实现自然语言处理、智能对话等功能，提供更加智能的用户体验。

三、核心能力

1、私域知识问答系统：通过构建私有知识库，满足特定组织或团队内部需求的智能信息获取工具。支持WORD/PDF/PPT/TXT/EXCEL等多种类型本地知识库，通过对本地知识库的分析、推理，实现知识库的智能推理与信息推荐，构建内容丰富、搜索能力强大、功能可扩展的新一代智能工具系统

2、数据库应用：对接数据库，通过自然语言与数据进行交互，使用户更简单、高效地与底层数据交互查询，避免写sql来和数据库交互，另外结合强大的BI分析功能，连接数据库如IOC主题库、专题库等，轻松实现柱状图，折线图，饼图等，形成dashboard可视化大屏应用

3.行政办公助手：利用大语言模型，为用户提供强大的智能化办公辅助能力，提高工作效率，如公文撰写、周报总结、分析报告等。

4、金融领域：可以用于智能客服、风险评估、投资顾问等场景，为金融机构提供更高效、更准确的服务；

5、医疗领域：可以用于医学文献分析、疾病诊断、药物研发等方面，为医疗行业提供更精准、更科学的支持；

6、在教育领域：可以用于智能辅导、学习推荐、学生管理等方面，为教育机构提供更智能、更人性化的教育服务。