SQL 执行 底层原理(一)

一、SQL Server组成部分

在这里插入图片描述
1.关系引擎:主要作用是优化和执行查询。
包含三大组件:

(1)命令解析器:检查语法和转换查询树。

(2)查询执行器:优化查询。

(3)查询优化器:负责执行查询。

2.存储引擎:管理所有数据及涉及的IO
包含三大组件:

(1)事务管理器:通过锁来管理数据及维持事务的ACID属性。

(2)数据访问方法:处理对行、索引、页、行版本、空间分配等的I/O请求。

(3)缓冲区管理器:管理SQL Server的主要内存消耗组件Buffer Pool。

3.Buffer Pool
包含SQL Server的所有缓存。如计划缓存和数据缓存。

4.事务日志
记录事务的所有更改。保证事务ACID属性的重要组件。

5.数据文件
数据库的物理存储文件。

6.SQL Server网络接口
建立在客户端和服务器之间的网络连接的协议层

二、查询的底层原理

在这里插入图片描述
1.当客户端执行一条T-SQL语句给SQL Server服务器时,会首先到达服务器的网络接口,网络接口和客户端之间有协议层。

2.客户端和网络接口之间建立连接。使用称为“表格格式数据流”(TDS) 数据包的 Microsoft 通信格式来格式化通信数据。

3.客户端发送TDS包给协议层。协议层接收到TDS包后,解压并分析包里面包含了什么请求。

4.命令解析器解析T-SQL语句。命令解析器会做下面几件事情:

(1)检查语法。发现有语法错误就返回给客户端。下面的步骤不执行。

(2)检查缓冲池(Buffer Pool)中是否存在一个对应该T-SQL语句的执行计划缓存。

(3)如果找到已缓存的执行计划,就从执行计划缓存中直接读取,并传输给查询执行器执行。

(4)如果未找到执行计划缓存,则在查询执行器中进行优化并产生执行计划,存放到Buffer Pool中。

5.查询优化器优化SQL语句

当Buffer Pool中没有该SQL语句的执行计划时,就需要将SQL传到查询优化器,通过一定的算法,分析SQL语句,产生一个或多个候选执行计划。选出开销最小的计划作为最终执行计划。然后将执行计划传给查询执行器。

6.查询执行器执行查询

查询执行器把执行计划通过OLE DB接口传给存储引擎的数据访问方法。

7.数据访问方法生成执行代码

数据访问方法将执行计划生成SQL Server可操作数据的代码,不会实际执行这些代码,传送给缓冲区管理器来执行。

8.缓冲区管理器读取数据。

先在缓冲池的数据缓存中检查是否存在这些数据,如果存在,就把结果返回给存储引擎的数据访问方法;如果不存在,则从磁盘(数据文件)中读出数据并放入数据缓存中,然后将读出的数据返回给存储引擎的数据访问方法。

9.对于读取数据,将会申请共享锁,事务管理器分配共享锁给读操作。

10.存储引擎的数据访问方法将查询到的结果返回关系引擎的查询执行器。

11.查询执行器将结果返回给协议层。

12.协议层将数据封装成TDS包,然后协议层将TDS包传给客户端。

Apache Flink是一个大规模分布式数据处理引擎,它提供了批处理和流处理两种模式,可以在高效地处理海量数据的同时保证数据一致性和处理准确性。Flink SQL是Flink中的一种构建在DataStream API之上的关系型数据处理工具,它能够以SQL的方式处理无界的数据流,将SQL查询语句转化为Flink的数据处理执行计划,实现相比于DataStream API更加简单和直观的数据处理方式。 Flink SQL底层原理主要包括以下几个方面: 1. SQL解析:Flink SQL能够支持标准的SQL语法解析,包括DML、DDL、DCL等基本SQL语句类型。 2. 查询优化:Flink SQL能够对查询语句进行优化,包括重写查询语句、优化语句执行计划等等。 3. 执行计划生成:Flink SQL能够将SQL查询语句转化为Flink执行计划,即将查询转化为具体的数据处理任务。 4. 数据存储和访问:Flink SQL支持多种数据存储和访问方式,包括本地文件、HDFS、Kafka等等,同时还支持各种数据格式,如CSV、JSON、avro等等。 5. 分布式执行:Flink SQL能够在不同的节点上进行分布式执行,通过数据并行的方式实现高效的数据处理和计算。 总之,Flink SQL底层原理是一个涉及到SQL解析、查询优化、执行计划生成、数据存储和访问、分布式执行等多个方面的复杂系统,它是Flink中重要的组成部分,为用户提供了高效、简单、直观的关系型数据处理方式。
评论
添加红包

请填写红包祝福语或标题

红包个数最小为10个

红包金额最低5元

当前余额3.43前往充值 >
需支付:10.00
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明:

1.余额是钱包充值的虚拟货币,按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载,可以购买VIP、付费专栏及课程。

余额充值