Databend 实现高效实时查询：深入解读 Dictionary 功能

最新推荐文章于 2024-09-30 17:19:22 发布
最新推荐文章于 2024-09-30 17:19:22 发布
阅读量531 收藏 18
点赞数 22
文章标签： 数据库
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/Databend/article/details/142656928
版权

作者：洪文丽

开源之夏2024“支持 External Dictionaries”项目参与者

东北大学软件工程专业云计算方向大二在读，喜欢挑战自我，尝试新鲜事物

背景介绍

在大型系统中，数据通常存储在多个不同的数据源中，例如 PostgreSQL、MySQL 和 Redis 负责存储在线数据，而 Databend 和 ClickHouse 则用于存储分析数据。传统的分析查询方法往往需要同时使用到多种不同的数据，通常通过 ETL 过程将数据导入一个系统后进行查询，但这种方式存在以下问题：

  1. 数据变动导致不一致性:

在多源数据系统中，数据可能会在不同的系统中以不同的频率和时间点进行更新。例如，在线数据源如 MySQL 和 Redis 可能会实时更新，而分析系统如 Databend 更新频率较低。这种时间差异可能导致数据不一致，分析结果可能与实际在线数据不符。

  1. 多表 join 操作性能低下:

在传统的 ETL 过程中，将数据从多个源导入到一个分析系统后，进行多表 join 操作时可能会遇到性能瓶颈。大规模的 join 操作需要对多个表进行复杂的匹配和计算，这可能导致查询响应时间变长，特别是在数据量大且 join 操作复杂的情况下。

  1. 数据系统管理复杂度高:

在大型系统中，管理多个数据源意味着需要处理不同的存储和查询机制。例如，MySQL 和 PostgreSQL 需要数据库管理和优化，Redis 需要确保缓存有效性，而 Databend 需要优化分析数据的存储和查询。每种系统都有不同的配置和维护要求，这增加了管理的复杂度和运维成本。数据备份、恢复、监控和性能调优等任务也需要分别在多个系统中进行。

为了解决这些问题，Databend 实现了字典功能。通过集成 MySQL、Redis 等外部数据源，Databend 实现了数据的实时查询与分析，不仅显著提升了查询性能，还确保了数据的一致性，减少了传统 ETL 流程的复杂性，特别适用于需要快速响应的实时分析场景。用户通过字典函数 dict_get 能够直接从外部数据源检索数据，简化了数据管理，并优化了大数据处理的效率。如图所示为字典功能示意图： 

字典功能介绍

2.1 DDL 语法

  1. 基本语法
CREATE OR REPLACE DICTIONARY [db_name].dictionary_name
(
 field1 type1 [DEFAULT expr1],
 field2 type2 [DEFAULT expr2],
 ...
)
PRIMARY KEY primary_key
SOURCE(source_type [source_options]);

  1. 字典的配置参数 PRIMARY KEY：字典的主键，用作查找数据的 key。 SOURCE：字典的数据源类型，如 MySQL、Redis 等。

  2. 数据源配置

    1.   目前支持 MySQL 和 Redis 作为数据源

    2.   MySQL 数据源

    3. host (必填)：MySQL 服务器的主机名或 IP 地址。

    4. port (必填)：MySQL 服务器的端口号，默认为 3306。

    5. username (必填)：用于连接 MySQL 服务器的用户名。

    6. password (必填)：用户的密码。

    7. db (必填)：要连接的数据库名称。

    8. table (必填)：数据库中的具体表名。

    9.   示例配置：

    10. SOURCE(MYSQL(
host='your_host'
port='3306'
username='your_username'
password='your_password'
db='your_db'
table='your_table'
))

    11.   Redis数据源

    12. host (必填)：Redis 服务器的主机名或 IP 地址。

    13. port (必填)：Redis 服务器的端口号，默认为 6379。

    14. username (选填)：如果 Redis 服务器设置了用户认证，则提供用户名。

    15. password (选填)：用户的密码。

    16. db_index (选填)：指定要使用的 Redis 数据库，默认为 0，最大值为 15。

    17.   示例配置：

    18. SOURCE(REDIS(
host='your_host'
port='6379'
username='your_username'
password='your_password'
db_index='db_index'
))

  3. 字段类型配置

    1. MySql数据源支持：boolean，string，number类型，其中 number 类型涵盖了整型（如 int、bigint）和浮点型（如 float32、float64）。
    2. Redis数据源支持：string类型，用于键值对的简单存储和检索。
    3. 值得注意的是，在 dict_get 函数中，若无法从外部数据源检索到对应的键值，系统会返回用户指定的默认值，或者使用系统的默认值。这一机制确保即使在外部数据源中未找到匹配的键，Databend 依然能够返回合理的结果，从而避免数据缺失对后续操作的影响，提高了系统的鲁棒性和查询的稳定性。

2.2 查询函数语法

Databend 支持使用 dict_get 函数查询字典数据。

dict_get([db_name].dict_name, 'attr_name', key_expr)
  • [db_name].dict_name：外部字典的名称，可能包括数据库名（如果字典存储在特定的数据库中）和字典名。如果当前会话已经选择了一个特定的数据库，那么可以省略数据库名，只提供字典名。
  • 'attr_name'：要查询的字典中字段的名称，必须为字符串。
  • key_expr：查询的 key 表达式，与字典中的 PRIMARY KEY 类型相同。

使用示例

假设我们有一个学生成绩管理系统，我们需要存储和查询学生的成绩信息、课程信息等数据。这些信息分别存储在 Databend、MySQL 和 Redis 中。

  • Databend 中有一个学生成绩表

    • CREATE TABLE student_scores (
 student_id INT,
 course_id INT,
 score INT
);

插入一些测试数据

INSERT INTO student_scores
VALUES (1, 1, 62),(1, 2, 75),(1, 3, 88),(2, 1, 93),
        (2, 2, 54),(2, 3, 99),(3, 1, 67),(3, 2, 80),
        (3, 3, 57),(4, 1, 66),(4, 2, 83),(4, 3, 91);

  • MySQL 中有一个课程信息表

    • CREATE TABLE courses (
 course_id INT PRIMARY KEY,
 course_name VARCHAR(255),
);

插入一些测试数据

INSERT INTO courses
VALUES (1, 'math'),(2, 'english'),(3, 'chinese');

  • Redis 中存储了学生的姓名

    • 127.0.0.1:6379> set 1 'Andy'
127.0.0.1:6379> set 2 'Nancy'
127.0.0.1:6379> set 3 'Lucy'
127.0.0.1:6379> set 4 'Jack'

在 Databend 中创建字典

CREATE DICTIONARY courses_dict
(
    course_id INT,
    course_name STRING
)
PRIMARY KEY course_id
SOURCE(MYSQL(
    host='localhost'
    port='3306'
    username='root'
    password='123456'
    db='test'
    table='courses'
));
CREATE DICTIONARY student_name_dict
(
    student_id string,
    student_name string
)
PRIMARY KEY student_id
SOURCE(REDIS(
    host='127.0.0.1'
    port='6379'
));

通过 Databend 的字典功能，可以轻松关联多个数据源并进行查询：

  • 查询同学选课的信息，关联课程名称和学生姓名

    • SELECT student_id,
    dict_get(student_name_dict, 'student_name', to_string(student_id)) as student_name,
    course_id,
    dict_get(courses_dict, 'course_name', course_id) as course_name
FROM student_scores;
    • +------------+--------------+-----------+-------------+
| student_id | student_name | course_id | course_name |
+------------+--------------+-----------+-------------+
| 1          | Andy         | 1         | math        |
| 1          | Andy         | 2         | english     |
| 1          | Andy         | 3         | chinese     |
| 2          | Nancy        | 1         | math        |
| 2          | Nancy        | 2         | english     |
| 2          | Nancy        | 3         | chinese     |
| 3          | Lucy         | 1         | math        |
| 3          | Lucy         | 2         | english     |
| 3          | Lucy         | 3         | chinese     |
| 4          | Jack         | 1         | math        |
| 4          | Jack         | 2         | english     |
| 4          | Jack         | 3         | chinese     |
+------------+--------------+-----------+-------------+

  • 查询同学平均成绩的排名

    • SELECT student_id,
    dict_get(student_name_dict, 'student_name', to_string(student_id)) as student_name,
    avg(score) as avg_score
FROM student_scores
GROUP BY student_id
ORDER BY avg_score DESC;
    • +------------+--------------+-----------+
| student_id | student_name | avg_score |
+------------+--------------+-----------+
| 2          | Nancy        | 82.0      |
| 4          | Jack         | 80.0      |
| 1          | Andy         | 75.0      |
| 3          | Lucy         | 68.0      |
+------------+--------------+-----------+

  • 查询各门课程的平均分数

    • SELECT course_id,
    dict_get(courses_dict, 'course_name', course_id) as course_name,
    avg(score) as avg_score
FROM student_scores
GROUP BY course_id;
    • +-----------+-------------+-----------+
| course_id | course_name | avg_score |
+-----------+-------------+-----------+
| 2         | english     | 73.0      |
| 1         | math        | 72.0      |
| 3         | chinese     | 83.75     |
+-----------+-------------+-----------+

通过以上的示例，可以看到字典功能可以有效地结合 Databend、MySQL 和 Redis 处理学生成绩管理系统中的联合查询，提高查询效率和数据管理能力。

四、总结

在这篇文章中，我们介绍了字典功能的基本用法，并通过一个简单的例子展示了使用字典来查询多个数据源的数据。字典功能在很多应用场景都可以使用，特别是有外部数据源需要定期同步场景，例如，一个金融分析系统需要实时分析股票价格数据，通过为股票价格数据创建字典，可以从数据源实时读取最新的股票价格数据，结合其它数据进行实时的分析计算。字典功能在提高查询性能、简化数据管理、确保数据一致性等方面具有广泛的应用价值。

目前，Databend 字典已经支持了对 MySQL 和 Redis 数据源的访问，未来会支持更多数据源，包括 PostgreSQL、MongoDB、Sqlite、HTTP 接口等，满足更多数据处理和分析场景的需求。同时，字典查询的性能也会继续优化，通过引入缓存和批量查询机制，减少外部数据源的查询延迟，提升并发查询性能。

关于 Databend

Databend 是一款开源、弹性、低成本，基于对象存储也可以做实时分析的新式数仓。期待您的关注，一起探索云原生数仓解决方案，打造新一代开源 Data Cloud。 👨‍💻‍ Databend Cloud：databend.cn

📖 Databend 文档：docs.databend.cn/

💻 Wechat：Databend

✨ GitHub：github.com/datafuselab…

Databend
关注
【SpringBoot】24、SpringBoot中实现数据字典
Asurplus
07-17 23万+
数据字典是指对数据的数据项、数据结构、数据流、数据存储、处理逻辑等进行定义和描述，其目的是对数据流程图中的各个元素做出详细的说明，使用数据字典为简单的建模项目
比Switch case 更高效的方法：字典（Dictionary） + 委托（delegate）
Edwin Lee的博客
08-13 5614
在C#中。一条switch语句允许测试一个变量在等于多个值的时的情况。每一个值作为一个case，去判断，当条件达成则执行。 并且，被测试的变量会对每一个case进行检查，直至找到符合条件的。 由于它是以遍历的方式一个个对比。当数据小的时候影响不大。
iOS之深入解析如何使用Block实现委托方法
╰つ栺尖篴夢ゞ
04-01 4万+
一、前言 Block 和 Delegate 是对象间传递消息的常用机制，这两个机制可以说是各有千秋。 Delegate 可以很方便把目标动作的执行过程划分为多个方法，以展现不同时间节点下特定的操作；Block 则擅长处理一个回调多个落点的情况，并且它可以通过捕捉上下文信息，来达到减少创建额外变量，集中消息处理逻辑的目的。 结合以上两种通信方式的特点，我们可以添加一些额外的桥接处理，让 Delegate 机制也能享有 Block 机制所拥有的部分优点，桥接处理的核心就是用 Block 实现委托方法。 由于
Cambridge Dictionary (剑桥词典)
既然选择了远方 便只顾风雨兼程 - 永强
04-26 3314
Cambridge Dictionary (剑桥词典)
Python技巧: 字典(Dictionary) update()方法
weixin_49340599的博客
01-07 3657
描述 Python 字典(Dictionary) update() 函数把字典dict2的键/值对更新到dict里。 语法 dict.update(dict2) dict2 – 添加到指定字典dict里的字典。 实例 #!/usr/bin/python tinydict = {'Name': 'Zara', 'Age': 7} tinydict2 = {'Sex': 'female' } tinydict.update(tinydict2) print "Value : %s" % dict 以上
RuntimeError: dictionary changed size during iteration 解决办法
studyvcmfc的专栏
07-07 8730
在字典遍历过程中修改字典元素，报错 RuntimeError: dictionary changed size during iteration 得知遍历时不能修改字典元素 for k in func_dict.keys(): if func_dict[k] is np.nan: del func_dict[k] continue 解决办法：将遍历条件改为列表 for k in list(func_dict.keys()): if func_dict[k...
python报错 ValueError: dictionary update sequence element #0 has length 1； 2 is require
HWP
12-01 2万+
原文链接地址： https://blog.csdn.net/weixin_40894428/article/details/80683137 字符串转字典要用eval（），这个方法很多书上都没有介绍， 有关eval（）的用法，传送门： http://www.runoob.com/python/python-func-eval.html 另外我的是比较基础的： >>> ss = [...
Python 实现子域名查询与爆破
CSDN
10-07 1万+
子域名是指在主域名之下的域名层级。在域名系统中，域名以层次结构进行组织，从右向左依次表示更高级别的域名。例如，对于域名example.com，example是主域名，而subdomain.example.com中的subdomain就是一个子域名。对于子域名爆破，常见的两种方式是通过不间断查询确定状态和通过DNS查询确定。第一种方式：通过不间断查询确定状态。这种方法通过尝试各种可能的子域名，例如使用字典中的单词或字符组合，不断向目标域名的DNS服务器发送查询请求，观察是否存在响应。
python错误：RuntimeError: dictionary changed size during iteration 解决办法
qq_40156884的博客
10-26 3860
1.在字典遍历过程中修改字典元素，报错 RuntimeError: dictionary changed size during iteration 错误代码： for i in phone: i = int(i) for key in dict_phone.keys(): if key == i: print(dict_phone.pop(key,'ss')) 改正 for i in phone: i = int(i) for ke
字符串转字典报错:ValueError: dictionary update sequence element #0 has length 1; 2 is required
why123wh的博客
04-01 8107
字符串转字典 data = opener.open(url) data=data.read().decode('utf-8') data=dict(data) 报错如下 ValueError: dictionary update sequence element #0 has length 1; 2 is required 解决方法 使用python 内置函数eval将字符串转为字典 eva...
【springboot微服务】Lucence实现Mysql全文检索
congge
04-10 8209
Lucence实现Mysql全文检索
Unity Dictionary的底层实现及部分方法的底层实现
qq_66312646的博客
08-03 1699
总结起来，Unity 的 Dictionary 类型底层使用哈希表实现，通过计算键的哈希码，将键值对映射到数组索引来实现高效的查找和插入操作。需要注意的是，为了保持高效性能，Dictionary 在内部会自动调整数组的大小，以确保具有适当的容量来容纳键值对。不保持顺序：Dictionary 中的键值对是无序存储的，即添加和遍历元素的顺序不一定与插入顺序相同。高效的查找操作：Dictionary 使用哈希表来实现，能够以常数时间复杂度（O(1)）进行查找操作，即使在具有大量元素的情况下，查找速度也非常快。
深入理解仓颉编程语言：从基础语法到并发编程的全面指南评【基础数据类型】
一键难忘的博客
07-21 4650
字典类型（Dictionary）是键值对的集合，用于存储具有唯一键的元素。字典类型使用表示，其中K表示键的类型，V表示值的类型。使用fn关键字定义一个函数，函数可以有参数和返回值。方法定义在类或结构体内部，第一参数是self，表示方法所属的实例。使用fn关键字可以定义闭包，闭包可以捕获其上下文中的变量。main() {let a = 10println(result) // 输出 15在文件中定义模块内容。使用raise关键字抛出异常。可以定义自己的异常类型。
iOS 安全规范指南之【对请求参数进行签名】请求参数按照ASCII码从小到大排序、拼接、加密（采用递归的方式进行实现）应用案例:条码支付综合前置平台申请退款
热门推荐
iOS逆向与安全
08-24 7万+
前言 支付类app为了安全起见，除了使用【防代理】，还可采用签名的方式进一步进行限制防止请求和返回报文被修改。 应用场景： 在对接第三方支付的时候，第三方会要求参数按照ASCII码从小到大排序。 I、步骤 1.1 签名模式的前奏:按照参数名ASCII码从小到大排序并拼接[递归的方式进行实现] 设所有发送或者接收到的数据为集合M，将集合M内的参数和参数值按照参数名ASCII码从小到大排序（字典序），使用URL键值对的格式（即key1=value1&key2=value2…）拼接成字符串string
点评项目-2-完善注册登录业务
m0_75138009的博客
09-29 458
需要处理的业务：在网页发送 /user/code 路径下的 post 请求后，我们需要检验手机号后，向合法的手机号发送一个随机生成的电话号。
k8s搭建一主三从的mysql8集群---无坑
oopxiajun博客专栏
09-27 948
对于构建基于MySQL的大规模、高性能应用来讲，需要使用水平扩展(集群)的数据库架构方式。在MySQL内建的复制功能可以实现，通过为服务器配置一个或多个备库的方式来进行数据同步。同时复制功能不仅有利于构建高性能的应用，也是高可用性、可扩展性、容灾、备份以及数据仓库等工作的基础。复制的基本原理是让一台服务器的数据与其他服务器保持同步。一台主库的数据可以同步到多台备库上，备库本身也可以被配置成另外一台服务器的主库。主库和备库之间可以有多种不同的组合方式。
Spring的热部署工具和数据库密码加盐操作
2301_77053417的博客
09-28 599
加密过程：用户输入的密码+盐值 --> 字符串1，然后使用md5对字符串1加密得到字符串2，然后字符串2+盐值 --> 字符串3，这个字符串3就是存储在数据库中的密文。背景：如果我们的密码明文存储在数据库中，要是被窃取了是非常的危险的，所以我们在数据库中存储的密码不能是明文的，需要进行加密后存储，也就是数据库中存储的是密文。解密过程：取出数据库中的盐值和用户输入的密码得到字符串1，使用md5对字符串1加密得到字符串2，然后验证字符串2和数据库中的密文即可。做好以上的步骤，你项目中的热部署就已经做好了。
[EBPF] 实时捕获DM数据库是否存在SQL阻塞
飞奔的屎壳郎
09-27 936
名称版本linux版本（centos8.5）DM88.1.4.27python利用ebpf技术在不登录数据库的情况下，通过对数据库的函数添加钩子，实时的对数据库是否存在阻塞判断现有的监控逻辑都是新建数据库用户执行SQL语句来判断阻塞情况，告警的实时性取决于监控的周期频率，而使用ebpf技术能够解决这个痛点ebpf有多种实现方式，这里便于理解测试的话 使用python语言内置c语言的形式进行了说明。涉及到生产环境应该是使用go语言或者c语言去做能够有效避免源码泄露等问题。
Redis事务
最新发布
zhzjn的博客
09-30 267
Redis事务可以通过MULTI、EXEC、WATCH和DISCARD指令来实现。1. MULTI指令：表示事务的开始，之后的所有指令都会被逐一记录，但不会立即执行。2. EXEC指令：表示事务的执行，会按照记录的指令逐一执行。3. WATCH指令：可以监视一个或多个键的变化，如果在事务执行期间被其他客户端修改，事务会被回滚。4. DISCARD指令：表示事务的撤销，可以放弃之前记录的指令。
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值