云数仓多分片并发查询的并发查询任务数

最新推荐文章于 2024-07-13 18:10:19 发布
最新推荐文章于 2024-07-13 18:10:19 发布
阅读量228 收藏 7
点赞数 3
文章标签： 数据库 java sql
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/qq_27790033/article/details/139884013
版权

一、添加一个新参数：

gcluster_select_parallel_degree参数取值范围：[1-160]，默认值为1，不开启并发任务。当参数大于1时，视为开启并发查询任务。

该参数支持 session级别、global级别、配置文件级别。

二、并发查询任务数的计算方法：

1、set global gcluster_select_parallel_degree=5;

2、warehouse的Data节点数为2节点。

总并发数=data节点数*多分片并发查询参数=10

通过集群层express日志可以看出并发查询的个数与taskid相关，taskid从0开始计算。

2023-06-14 09:53:23.311 [SQLDISP][INFO ][S:2394][Q:259]<ExecSQL|2562>:instance: lxj1, txid: 16394234062568423430, minTxid: 16394234062568423430, queryid: 259, taskid: 6, addr: 10.10.9.19, type: 3

----sql: SELECT  COUNT(1) FROM `vc00001_db1`.`customer`  `sysvc.db1.customer`

----warehouse: 0x6785ee0

----table meta info:

table pfile list:

2023-06-14 09:53:23.311 [SQLDISP][INFO ][S:2394][Q:259]<ExecSQL|2562>:instance: lxj1, txid: 16394234062568423430, minTxid: 16394234062568423430, queryid: 259, taskid: 5, addr: 10.10.9.19, type: 3

----sql: SELECT  COUNT(1) FROM `vc00001_db1`.`customer`  `sysvc.db1.customer`

----warehouse: 0x6785ee0

----table meta info:

table pfile list:

2023-06-14 09:53:23.311 [SQLDISP][INFO ][S:2394][Q:259]<ExecSQL|2562>:instance: lxj1, txid: 16394234062568423430, minTxid: 16394234062568423430, queryid: 259, taskid: 4, addr: 10.10.6.130, type: 3

----sql: SELECT  COUNT(1) FROM `vc00001_db1`.`customer`  `sysvc.db1.customer`

----warehouse: 0x6785ee0

----table meta info:

table pfile list:

2023-06-14 09:53:23.311 [SQLDISP][INFO ][S:2394][Q:259]<ExecSQL|2562>:instance: lxj1, txid: 16394234062568423430, minTxid: 16394234062568423430, queryid: 259, taskid: 8, addr: 10.10.9.19, type: 3

----sql: SELECT  COUNT(1) FROM `vc00001_db1`.`customer`  `sysvc.db1.customer`

----warehouse: 0x6785ee0

----table meta info:

table pfile list:

2023-06-14 09:53:23.312 [SQLDISP][INFO ][S:2394][Q:259]<ExecSQL|2562>:instance: lxj1, txid: 16394234062568423430, minTxid: 16394234062568423430, queryid: 259, taskid: 0, addr: 10.10.6.130, type: 3

----sql: SELECT  COUNT(1) FROM `vc00001_db1`.`customer`  `sysvc.db1.customer`

----warehouse: 0x6785ee0

----table meta info:

table pfile list:

2023-06-14 09:53:23.312 [SQLDISP][INFO ][S:2394][Q:259]<ExecSQL|2562>:instance: lxj1, txid: 16394234062568423430, minTxid: 16394234062568423430, queryid: 259, taskid: 1, addr: 10.10.6.130, type: 3

----sql: SELECT  COUNT(1) FROM `vc00001_db1`.`customer`  `sysvc.db1.customer`

----warehouse: 0x6785ee0

----table meta info:

table pfile list:

2023-06-14 09:53:23.312 [SQLDISP][INFO ][S:2394][Q:259]<ExecSQL|2562>:instance: lxj1, txid: 16394234062568423430, minTxid: 16394234062568423430, queryid: 259, taskid: 9, addr: 10.10.9.19, type: 3

----sql: SELECT  COUNT(1) FROM `vc00001_db1`.`customer`  `sysvc.db1.customer`

----warehouse: 0x6785ee0

----table meta info:

table pfile list:

2023-06-14 09:53:23.312 [SQLDISP][INFO ][S:2394][Q:259]<ExecSQL|2562>:instance: lxj1, txid: 16394234062568423430, minTxid: 16394234062568423430, queryid: 259, taskid: 7, addr: 10.10.9.19, type: 3

----sql: SELECT  COUNT(1) FROM `vc00001_db1`.`customer`  `sysvc.db1.customer`

----warehouse: 0x6785ee0

----table meta info:

table pfile list:

2023-06-14 09:53:23.312 [SQLDISP][INFO ][S:2394][Q:259]<ExecSQL|2562>:instance: lxj1, txid: 16394234062568423430, minTxid: 16394234062568423430, queryid: 259, taskid: 3, addr: 10.10.6.130, type: 3

----sql: SELECT  COUNT(1) FROM `vc00001_db1`.`customer`  `sysvc.db1.customer`

----warehouse: 0x6785ee0

----table meta info:

table pfile list:

2023-06-14 09:53:23.314 [SQLDISP][INFO ][S:2394][Q:259]<ExecSQL|2562>:instance: lxj1, txid: 16394234062568423430, minTxid: 16394234062568423430, queryid: 259, taskid: 2, addr: 10.10.6.130, type: 3

----sql: SELECT  COUNT(1) FROM `vc00001_db1`.`customer`  `sysvc.db1.customer`

----warehouse: 0x6785ee0

----table meta info:

table pfile list:

qq_27790033
关注
  • 3
    点赞
  • 踩
  • 7
    收藏
    觉得还不错? 一键收藏
  • 0
    评论
java多线程并发executorservice(任务调度)类
09-04
Java多线程并发是编程中一个重要的概念，特别是在高并发应用和服务器端程序设计中。`ExecutorService` 是 Java 并发包 `java.util.concurrent` 中的一个接口，它提供了线程池服务，能够管理和控制线程的执行。而 `...
PHP并发查询MySQL的实例代码
04-11
本篇文章主要介绍了PHP并发查询MySQL的实例代码，小编觉得挺不错的，现在分享给大家，也给大家做个参考。一起跟随小编过来看看吧
ByteHouse云数仓版查询性能优化和MySQL生态完善
让每个人用好数据和云
04-26 614
在2023云数据库技术沙龙 “MySQL x ClickHouse” 专场上，火山引擎ByteHouse的研发工程师游致远，为大家分享一下《ByteHouse云数仓版查询优化和MySQL生态完善》的一些工作。本文内容根据演讲录音以及PPT整理而成。 火山引擎ByteHouse的研发工程师游致远游致远，火山引擎ByteHouse资深研发工程师，负责ByteHouse云数仓版引擎计算模块。之前先后就职于网易、菜鸟集团、蚂蚁集团，有多年大数据计算引擎、分布式系统相关研发经历。ByteHouse云数仓版查询优化和M
GaussDB（DWS）云原生数仓技术解析：湖仓一体，体验与大数据互联互通
白鹿第一帅的 CSDN 博客
09-14 5242
云计算时代，数仓能为我们带来哪些便利？GaussDB（DWS）即将发布的云原生数仓如何构筑新一代数据仓库的技术底座，在云原生数仓的地基之上，数据时代的产业又将如何扩张、拓展？在本文中我们将带您解密华为云新一代云数仓 GaussDB（DWS） 3.0 的核心技术与划时代意义。
GaussDB（DWS）云原生数仓技术解析：湖仓一体，体验与大数据互联互通_gaussdbdws 数据中台(3)
2401_84170218的博客
05-06 340
云计算时代，数仓能为我们带来哪些便利？GaussDB（DWS）即将发布的云原生数仓如何构筑新一代数据仓库的技术底座，在云原生数仓的地基之上，数据时代的产业又将如何扩张、拓展？在本文中我们将带您解密华为云新一代云数仓 GaussDB（DWS） 3.0 的核心技术与划时代意义。声明：本文由作者“白鹿第一帅”于 CSDN 社区原创首发，未经作者本人授权，禁止转载！爬虫、复制至第三方平台属于严重违法行为，侵权必究。文章作者白鹿第一帅作者主页，未经授权，严禁转载，侵权必究！
MongoDB 分片集群搭建
zzbjut
12-26 2208
一 .集群部署简介        MongoDB 的部署方式十分灵活，可以使用单个 MongoDB 实例，也可以使用复制集和分片集群。在测试开发阶段一般使用单个 MongoDB 实例。由于云数 据中心需要存储海量数据且系统并发访问量大，所以需要使用 MongoDB 分片集 群存储数据，这里将使用三台机器来搭建 MongoDB 分片集群，其部署方式如下图所示。
数据仓库架构：传统&云的对比
wengyupeng 蜗牛一步一步向前。。。
07-30 3001
Data Warehouse Architecture: Traditional vs. Cloud Data warehouse architecture is changing. Learn about traditional EDW vs. cloud-based architectures with lower upfront cost, improved scalability and...
又一国产数据库诞生！腾讯发布 TGDB，实时查询比 Neo4j 快 20-150 倍！
CrisAppleYan的博客
06-08 247
受访者 | 邵宗文，腾讯云图数据库产品经理记者| 夕颜出品 | CSDN（ID:CSDNnews）AI 技术生态论」 人物访谈栏目是 CSDN 发起的百万人学 AI 倡议下的重要组成部分。通过对 AI 生态顶级大咖、创业者、行业 KOL 的访谈，反映其对于行业的思考、未来趋势判断、技术实践，以及成长经历。本文为 「AI 技术生态论」系列访谈第三十四期。百万人学 AI 你也...
98.8秒夺冠，解析腾讯云数智背后的架构与算法优化
weixin_37098404的博客
11-24 271
背景11月10日，具有计算奥运会之称的 Sort Benchmark 全球排序竞赛公布了2016年最终成绩，腾讯云大数据联合团队用时不到99秒（98.8秒）就完成 100...
流处理开源项目flinkStreamSQL FlinkX简介
赵英超的博客
06-03 1688
flinkStreamSQL 熟悉flink的应该都了解，flink支持流表之间的join，但到1.6为止都不支持流表和维表的join。浪尖最近，也在开发流平台，需要到flink流表和维表的join。那么针对这个大家第一印象，可以写个算子去实现，比如map等。但是浪尖这里开发的流平台不是说自己写api，而是用户通过sql去实现创建source，sink，udf，sql等，这个时候要进行维表join，大家可能是想到了udf。是的对于只有一个维表的情况下使用udf比较方便，但是多个维表，相对就麻烦很多了。
袋鼠云助力光伏产业 | 基于阿里云数加平台做算法预测
weixin_33885253的博客
04-10 207
随着大数据技术的蓬勃发展，现在关于大数据技术在各行各业的实践也如火如荼。 那么当大数据技术遇到光伏行业会产生何样的化学反应呢？ 下面就和大家一起分享一下袋鼠云是如何使用阿里云数加平台和机器学习平台助力光伏行业的。 说明： 为保护客户数据隐私，本文未透露客户名称，并将相关数据进行了马赛克处理。 01光伏大数据实践简介 一光伏行业为什么适合...
Oracle 最大并发数、会话数查询
12-14
在Oracle数据库管理中，了解和监控并发数与会话数是非常关键的任务，这关系到系统的性能和稳定性。本文将详细讲解如何查询Oracle数据库的并发数、会话数以及如何调整这些参数，同时也会提及查看Oracle日志路径和SQL...
基于Webuploader插件的大文件多文件分片并发md5上传
03-11
本教程将详细探讨"基于Webuploader插件的大文件多文件分片并发md5上传"这一主题，旨在帮助开发者理解并实现这种复杂但高效的上传方式。 Webuploader是由阿里团队开发的一款JavaScript文件上传组件，它支持多种...
大数据量高并发的数据库优化,sql查询优化
01-27
总的来说，大数据量高并发环境下的数据库优化是一个系统性工程，涉及到数据库架构设计、索引策略、查询优化等多个层面。正确理解和应用这些原则，可以有效地提升系统的稳定性和性能，避免因数据增长和并发压力导致的...
set user & password for database 设置数据库 用户和密码
DavidsonGong的博客
07-12 159
USE sbms;
7.10飞书一面面经
东篱君的博客
07-10 1234
B+树的⾮叶⼦节点不存放实际的记录数据，仅存放索引，所以数据量相同的情况下，相⽐存储即存索引⼜存记录的 B 树，B+树的⾮叶⼦节点可以存放更多的索引，因此 B+ 树可以⽐ B 树更「矮胖」，查询底层节点的磁盘 I/O次数会更少。主从复制：单节点Redis的并发能力是有上限的，要进一步提高Redis的并发能力，可以搭建主从集群，实现读写分离。B+ 树有⼤量的冗余节点（所有⾮叶⼦节点都是冗余索引），这些冗余索引让 B+ 树在插⼊、删除的效率都更⾼，⽐如删除根节点的时候，不会像 B 树那样会发⽣复杂的树的变化；
mysql笔记1
m0_62975692的博客
07-11 390
首先查看systemctl status mysqld，如果是关闭的可以进入的配置文件打开mysql，我的mysql配置文件就是在/usr/local/mysql/support-filess/下，在此目录下执行./mysql.server start,打开mysql服务，也可以通过systmectl start mysqld，如果你嫌麻烦的话可以systemctl enable mysqld 一直打开mysql的服务;重新给字段添加约束的时候不可以添加not null约束的！
Redis集群和高可用
最新发布
xiaogengtongxu的博客
07-13 590
主从架构无法实现master和slave角色的自动切换，即当master出现redis服务异常、主机断电、磁盘损坏等问题导致master无法使用，而redis主从复制无法实现自动的故障转移(将slave 自动提升为新master)，需要手动修改环境配置,才能切换到slave redis服务器，另外当单台Redis服务器性能无法满足业务写入需求的时候,也无法横向扩展Redis服务的并行写入性能。master和slave角色的无缝切换，让业务无感知从而不影响业务使用。
JAVA高质量并发详解,多线程并发深入讲解
04-24
"本书是关于Java并发编程的深度解析，涵盖了多线程并发的核心概念、原理及实践。书中详尽地介绍了Java并发编程的基础知识、API、高级特性以及设计模式，旨在帮助读者深入理解并掌握多线程编程，提升系统性能。" 在...

“相关推荐”对你有帮助么？

  • 非常没帮助
  • 没帮助
  • 一般
  • 有帮助
  • 非常有帮助
提交
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值