Drill查询拆分过程

最新推荐文章于 2024-08-07 18:01:05 发布
最新推荐文章于 2024-08-07 18:01:05 发布
阅读量2k 收藏 5
点赞数 1
分类专栏： 数据库内核和应用
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/huxuanlai/article/details/59510711
版权

Drill代码分析（查询拆分）

Drill代码分析（查询拆分） 
Drill架构 
Drill是什么 
Drill查询服务总体执行流程 
Drill查询引擎执行流程 
物理执行计划生成 
查询拆分和分布执行 
非根查询片段执行流程 
Calcit架构 
Drill与Calcite交互

Drill架构

Drill是什么

Drill是开源、低延迟、分布式查询系统，可扩展到数千节点，适用于PB级交互式BI和分析。
Drill具有标准查询引擎的服务器，编译，优化，执行模块，并利用zookeeper负责节点协调，支持基于calcite的优化器，支持查询拆分分布执行和定制存储插件，支持用分布式内存系统加速中间结果集的查询，支持hadoop生态，传统RDB系统和mongdb等数据源 。 
Drill架构图如下：



Drill查询服务总体执行流程

最低0.47元/天 解锁文章
huxuanlai
关注
专栏目录
数仓建模—OLTP 和 OLAP
06-15 4万+
在国内，不论传统公司还是互联网公司，都开始利用OLAP技术分析挖掘大数据的价值，国内除BAT等大厂会自研OLAP产品外，其他中小互联网公司普遍拥抱开源，会使用Kylin、Presto、impala、Druid和Greenplum等开源技术来实现OLAP分析查询业务。在调研了市面上主流的开源OLAP引擎后发现，目前还没有一个系统能够满足各种场景的查询需求。其本质原因是，没有一个系统能同时在数据量、性能、和灵活性三个方面做到完美，每个系统在设计时都需要在这三者间做出取舍。
Presto原理与代码实例讲解
AI天才研究院
06-19 1006
Presto原理与代码实例讲解 1.背景介绍 1.1 大数据查询引擎的发展历程 随着大数据时代的到来,企业需要处理和分析的数据量呈爆炸式增长。传统的关系型数据库已经无法满足海量数据的实时查询和分析需求。因此,大数据查询引擎应运而生,如
大数据druid查询不支持分页_大数据查询引擎Drill 开箱即用不需要同步数据
weixin_28867883的博客
01-10 292
简介drillApache Drill是一个引擎，可以连接到许多不同的数据源，并为它们提供SQL接口。 它不仅是遍历任何复杂事物SQL界面，而且是功能强大的界面， 其中包括对许多内置函数和窗口函数的支持。 尽管它可以连接到可以使用SQL进行查询的标准数据源(例如Oracle或MySQL)，但它还可以处理诸如CSV或JSON等平面文件以及Avro和Parquet格式。官方默认支持的数据源有hive、...
Calcite
weixin_44302046的博客
09-01 770
SqlNode为根结点，SqlNode是SqlOrderBy类型, 它的query字段是一个SqlSelect类型, 即代表原始的SQL语句去掉ORDER BY部分. 图中红色矩形框内的其实都是SqlNode类型.RelNode树可以理解为一个逻辑执行计划, 上述SQL对应的逻辑执行计划如下, 其中每一行都表示一个节点, 是RelNode的实现类, 缩进表示父子关系。对比优化前后的计划, 值得注意的变化是对users表的过滤位置发生了变动, 从先Join后过滤变成了先过滤后Join, 如下图所示。...
Apache Drill：大数据的实时SQL查询引擎
最新发布
Aaron_945的博客
08-07 1019
Apache Drill 是一个开源的分布式SQL查询引擎，专为大数据环境设计，支持对多种数据源进行高速、实时的查询。它旨在简化大数据的复杂性，让用户能够像查询传统关系型数据库一样，轻松查询Hadoop、NoSQL数据库以及云存储中的大规模数据集。Apache Drill 是一个功能强大的大数据查询引擎，它使得大数据的查询和分析变得更加简单和高效。Apache Drill 支持动态分区剪枝，这意味着在查询执行期间，Drill 可以根据查询条件智能地过滤掉不需要扫描的分区，从而加速查询速度。
Drill 大数据高级查询工具
草原孤狼的专栏
05-29 3954
简介 Apache Drill是一个低延迟的分布式海量数据（涵盖结构化、半结构化以及嵌套数据）交互式查询引擎，使用ANSI SQL兼容语法，支持本地文件、HDFS、HBase、MongoDB等后端存储，支持Parquet、JSON、CSV、TSV、PSV等数据格式。受Google的Dremel启发，Drill满足上千节点的PB级别数据的交互式商业智能分析场景。 安装 Drill可
Drill官网文档翻译一 基本架构
weixin_33701294的博客
02-02 360
(翻译自apache drill 官网) 架构总览 Apache drill是在大规模数据集场景下,可以低延迟地进行结构和半结构化/嵌套数据结构查询的一个分布式查询引擎。受到谷歌公司的Dremel的启发，Drill被设计出来以支持几千个节点和PB级别的数据规模下,支持交互响应级别的商务智能分析和查询。 Drill也适用到在大规模数据集场景下进行简单而...
Drill的安装
Xlucas的博客
10-01 1542
1、解压[root@master opt]# tar -zxvf apache-drill-1.7.0.tar.gz [root@master opt]# ls apache-drill-1.7.0 apache-drill-1.7.0.tar.gz hadoop-2.6.22.启动[hadoop@master bin]$ ./drill-embedded Invalid initial h
python使用spark sql查询impala_大数据不就是写sql吗？—— Hive：把sql解析后用MapReduce跑 SparkSQL：把sql解析后用Spark跑，比hiv...
weixin_35993844的博客
12-28 172
应届生小祖参加了个需求分析会回来后跟我说被产品怼了一句："不就是写SQL吗，要那么久吗"我去，欺负我小弟，这我肯定不能忍呀，于是我写了一篇文章发在了公司的wiki：贴出来给大家看看，省略了一些敏感的内容。当然内部版言辞也会温和一点，嘻嘻在哪里写SQL？这个问题高级点的问法是用哪种SQL引擎？SparkSQL、Hive、Phoenix、Drill、Impala、Presto、Druid、Kylin ...
大数据Kylin（一）：基础概念和Kylin简介
Lansonli（蓝深李）的博客
02-10 1837
对于Hive中的维度表和事实表，根据我们指定的维度列来构建cube，cube是所有维度的组合，任一维度的组合称为cuboid，即：cube中包含所有的cuboid。正规化也是一种比较复杂的过程，相应的数据库结构设计、数据的 ETL、以及后期的维护都要复杂一些。MOLAP （Multidimension OLAP）： MOLAP支持数据的多维视图，采用多维数据组存储数据，它把维映射到多维数组的下标或下标的范围，而事实数据存储在数组单元中，从而实现了多维视图到数组的映射，形成了立方体的结构。
【原创】大数据基础之Drill（1）简介、安装及使用
weixin_30621959的博客
06-16 1713
https://drill.apache.org/ 一 简介 Drill is an Apache open-source SQL query engine for Big Data exploration. Drill is designed from the ground up to support high-performance analysis on the semi...
calcite简单入门
06-30 2543
1 介绍 官网：http://calcite.apache.org/ Apache Calcite是一款开源的动态数据管理框架，它提供了标准的 SQL 语言、多种查询优化和连接各种数据源的能力，但不包括数据存储、处理数据的算法和存储元数据的存储库。 Calcite 之前的名称叫做optiq，o...
Apache Drill源码分析(3)--DrilBit以及物理计划
weixin_33878457的博客
07-13 639
layout: post Drill源码阅读(3) : 分析DrillBit各个角色 UserServer处理RUN_QUERY_VALUE客户端的查询请求,会将任务分派给UserWorker处理, 由worker提交工作: 显然worker要在构造UserServer的时候也一起构造出来, 这样在收到任务的时候, 确保立即有工人接...
Calcite原理和代码讲解(一)
热门推荐
大表哥的博客
07-19 1万+
1.Calcite介绍 (1)简介 Apache Calcite 是面向 Hadoop 新的查询引擎，它提供了标准的 SQL 语言、多种查询优化和连接各种数据源的能力。 Calcite 的目标是“ one size fits all （一种方案适应所有需求场景）”，希望能为不同计算平台和数据源提供统一的查询引擎，并以类似传统数据库的访问方式（SQL 和高级查询优化）来访问Hadoop 上的数据。 Calcite 之前的名称叫做 optiq ，optiq 起初在 Hive 项目..
drill配置
qq_35094452的博客
05-08 549
//普通文件配置说明 { "type": "file", "enabled": true, "connection": "hdfs://192.168.100.139:8020/", "config": null, "workspaces": { "root": { "location":
Drill中Calcite优化器代码分析
建模分析师胡选来
03-02 5055
什么是优化器Calcite中优化器执行框架 优化器创建和特性添加优化器执行过程AbstractConverter触发执行的过程规则匹配过程 Drill优化逻辑 drill中的逻辑执行计划优化规则drill中的物理执行计划优化规则 什么是优化器 优化器是对关系节点树做等价变换得到最小代价的执行计划的组件。 优化器执行框架涉及的主要概念如下：  优化规则（Re
Drill代码分析
建模分析师胡选来
03-02 638
Drillbit          ZKClusterCoordinator//协调客户端请求          ServiceEngine//包括用户服务，控制服务，数据服务                    UserServer//接受和反馈用户请求                             UserWorker.submitWork//将用户请求提交
Drill系列（1）：Dremel的原理
晓阳的数据小站
02-06 2299
​Google在推出了三大论文之后，并没有停止震撼世界的步伐，例如在Dremel中，借助精巧的数学模型，可以在3秒中分析1PB数据，便是又一大创新。 让我们来看一下Dremel的魅力：Dremel号称能够3秒分析1PB数据，如果在一个PB级别的数据集上面，将任务缩短到秒级，无疑需要大量的并发，假设磁盘的顺序读速度在100MB/S上下，那么在1S内处理1TB数据，意味着至少需要有1万个磁盘的同时并...
大规模交互式批量查询：基于Drill的游戏分析系统
“穆黎森：Interactive Batch Query At Scale——基于Drill的游戏分析Adhoc查询系统” 在2013年中国大数据技术大会上，智明星通公司的CTO穆黎森分享了有关《Interactive Batch Query At Scale: Adhoc query system ...
评论 1
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值