前言
Apache Doris
作为一款基于 MPP 架构的高性能、实时分析型数据库,DeepSeek
作为国产Top的大语言模型,Dify
作为88K✨的AI应用开发平台,三者合力打造的ChatBI系统,让对话式BI变得触手可及。
整个Doris ChatBI系统工作流程非常清晰:
用户提需求 → DeepSeek进行Text2SQL → Doris执行查询 → DeepSeek分析 → 可视化BI展示
接下来,直接实战体验 ⬇️
从0搭建ChatBI系统
步骤一:准备Doris环境并导入数据
首先安装Apache Doris,并生成导入TPC-H数据。这个数据集包含了客户、订单和供应商等维度的核心表,非常适合演示ChatBI功能。
🔗 Doris环境部署:https://doris.apache.org/zh-CN/docs/install/deploy-manually/integrated-storage-compute-deploy-manually
🔗 TPC-H数据导入:https://doris.apache.org/zh-CN/docs/benchmark/tpch
步骤二:准备Dify环境
可以基于Docker搭建:https://github.com/langgenius/dify
也可以直接使用Dify Cloud:https://cloud.dify.ai/apps
环境初始化后,创建空白应用
,选择Chatflow
并进行简单配置后创建
。
步骤三:Dify流程编排
Dify实现的Doris ChatBI流程如下:
1️⃣ Input
需求输入,由对话窗口输入,不用做额外的配置操作。
2️⃣ Text2SQL
LLM节点,本次配的是DeepSeek V3
,主要作用是定义自然语言转SQl的核心规则
、数据库表信息映射
、查询技巧
、查询示例
、注意事项
和输出格式
。
例如(演示版,详细配置见DSL
附件):
# 你是数据分析专家,精通Apache Doris,能够根据用户的问题生成高效的SQL查询, 详细规则如下
## 核心规则
1. 仅使用提供的表和字段
2. 确保SQL语句兼容Doris语法
3. 输出一个完整的SQL语句,无注释
...
## 数据库表结构(TPC-H 决策支持基准)
### 1. customer(客户表表)
...
## 查询技巧
### 聚合函数
- COUNT(): 计算数量
- AVG(): 计算平均值
- SUM(): 计算总和
- MAX()/MIN(): 获取最大/最小值
...
## 查询示例
### 1. 客户订单分布数量查询
...
## 注意事项
1. 合理使用JOIN条件
2. 注意日期格式的一致性
3. 使用适当的sql语句以提高查询效率
## 输出格式
1. 只能输出一个结果的sql语句
2. 其它非sql内容必须过滤掉再输出
3️⃣ SQL Formatting
由于LLM生成的结果可能会带换行符或者一些强行解释文字导致SQL没法直接执行,所以通常会有做一些SQL格式化动作:
import re
def main(text2sql: str) -> dict:
text2sql = text2sql.replace('```sql\n', ' ').replace('\n```', ' ').replace('\n', ' ').strip()
text2sql = re.sub(r'(LIMIT \d+;).*', r'\1 ', text2sql, flags=re.IGNORECASE)
return {
"text2sql": text2sql,
}
4️⃣ Doris Execute
这块可以直接用Database
插件的SQL Execute
,但需要在安装完插件后,配置授权一下可通信的Doris集群URL,例如:
mysql+pymysql://{user}:{passwd}@{fe_ip}:9030/tpch
5️⃣ Json Result(可选)
查询结果进行JSON格式规范:
{{ json_result }}
6️⃣ Doris ChatBI
LLM节点,配的是DeepSeek V3
,主要作用是定义Doris查询结果转可视化BI的核心规则
、可视化图表Echart格式定义
、处理流程
、分析维度
、注意事项
和输出格式
。
例如(演示版,详细配置见DSL
附件):
# Doris ChatBI数据分析专家工作指南
## 核心规则
1. 直接分析已提供数据,默认数据已满足查询条件。
2. 整理SQL查询结果:
- 以Markdown表格格式输出,放置在输出开头。
- 以ECharts图表配置项格式输出,放置在最后。图表配置应尽量简洁,避免过多冗余配置项。
...
## 数据处理流程
1.接收JSON格式查询结果
2.验证数据完整性
3.进行统计分析
4.生成分析报告
## 常见分析维度
1.订单分析
- 订单数量
- 订单分布
- 订单趋势
2.客户分布
- 下单数量
- 地区分布
- 消费分布
...
## 特殊情况处理
- 空数据集:直接返回"没有查询到相关数据"
- 异常值:如实报告,不作主观判断
- 数据缺失:说明缺失情况,不补充假设数据
## 输出格式
如果上游数据库查询没有结果,则直接结合echarts返回 一个空白图,图中告知:没有查询到相关数据;
如果有数据则结合echarts,将数据用适合的图形进行可视化展示
结语
Doris ChatBI的魅力不仅在于简化数据获取,更在于能够非常直观地改变了人与数据的交互方式。从"我需要写SQL
"到"我想知道答案
",它让数据分析回归本质—解决业务问题。
一位Doris用户形象地总结道:“以前Doris数据分析像是在翻译两种语言,虽然快但是绕。而现在,我可以直接用母语和数据对话。
”
但还不够,Doris ChatBI的未来:不只是查询工具。
我的DeepSeek部署资料已打包好(自取↓)
https://pan.quark.cn/s/7e0fa45596e4
但如果你想知道这个工具为什么能“听懂人话”、写出代码 甚至预测市场趋势——答案就藏在大模型技术里!
❗️为什么你必须了解大模型?
1️⃣ 薪资爆炸:应届大模型工程师年薪40万起步,懂“Prompt调教”的带货主播收入翻3倍
2️⃣ 行业重构:金融、医疗、教育正在被AI重塑,不用大模型的公司3年内必淘汰
3️⃣ 零门槛上车:90%的进阶技巧不需写代码!会说话就能指挥AI
(附深度求索BOSS招聘信息)
⚠️警惕:当同事用DeepSeek 3小时干完你3天的工作时,淘汰倒计时就开始了。
那么,如何系统的去学习大模型LLM?
作为一名从业五年的资深大模型算法工程师,我经常会收到一些评论和私信,我是小白,学习大模型该从哪里入手呢?老师啊,我自学没有方向怎么办?老师,这个地方我不会啊。如果你也有类似的经历,一定要继续看下去!当然这些问题啊,也不是三言两语啊就能讲明白的。
所以我综合了大模型的所有知识点,给大家带来一套全网最全最细的大模型零基础教程。在做这套教程之前呢,我就曾放空大脑,以一个大模型小白的角度去重新解析它,采用基础知识和实战项目相结合的教学方式,历时3个月,终于完成了这样的课程,让你真正体会到什么是每一秒都在疯狂输出知识点。
篇幅有限,⚡️ 朋友们如果有需要全套 《2025全新制作的大模型全套资料》,扫码获取~
👉大模型学习指南+路线汇总👈
我们这套资料呢,会从基础篇、进阶篇和项目实战篇等三大方面来讲解。
👉①.基础篇👈
基础篇里面包括了Python快速入门、AI开发环境搭建及提示词工程,带你学习大模型核心原理、prompt使用技巧、Transformer架构和预训练、SFT、RLHF等一些基础概念,用最易懂的方式带你入门大模型。
👉②.进阶篇👈
接下来是进阶篇,你将掌握RAG、Agent、Langchain、大模型微调和私有化部署,学习如何构建外挂知识库并和自己的企业相结合,学习如何使用langchain框架提高开发效率和代码质量、学习如何选择合适的基座模型并进行数据集的收集预处理以及具体的模型微调等等。
👉③.实战篇👈
实战篇会手把手带着大家练习企业级的落地项目(已脱敏),比如RAG医疗问答系统、Agent智能电商客服系统、数字人项目实战、教育行业智能助教等等,从而帮助大家更好的应对大模型时代的挑战。
👉④.福利篇👈
最后呢,会给大家一个小福利,课程视频中的所有素材,有搭建AI开发环境资料包,还有学习计划表,几十上百G素材、电子书和课件等等,只要你能想到的素材,我这里几乎都有。我已经全部上传到CSDN,朋友们如果需要可以微信扫描下方CSDN官方认证二维码免费领取【保证100%免费
】
相信我,这套大模型系统教程将会是全网最齐全 最易懂的小白专用课!!