SQL语句的执行原理分析

原理：
第一步：应用程序把查询SQL语句发给服务器端执行。
我们在数据层执行SQL语句时,应用程序会连接到相应的数据库服务器,把SQL语句发送给服务器处理。
第二步：服务器解析请求的SQL语句。
1:SQL计划缓存,经常用查询分析器的朋友大概都知道这样一个事实,往往一个查询语句在第一次运行的时候需要执行特别长的时间,但是如果你马上或者在一定时间内运行同样的语句,会在很短的时间内返回查询结果。　

原因:
1):服务器在接收到查询请求后,并不会马上去数据库查询,而是在数据库中的计划缓存中找是否有相对应的执行计划,如果存在,就直接调用已经编译好的执行计划,节省了执行计划的编译时间。
2):如果所查询的行已经存在于数据缓冲存储区中,就不用查询物理文件了,而是从缓存中取数据,这样从内存中取数据就会比从硬盘上读取数据快很多,提高了查询效率.数据缓冲存储区会在后面提到。
2:如果在SQL计划缓存中没有对应的执行计划,服务器首先会对用户请求的SQL语句进行语法效验,如果有语法错误,服务器会结束查询操作,并用返回相应的错误信息给调用它的应用程序。
注意:此时返回的错误信息中,只会包含基本的语法错误信息,例如select 写成selec等,错误信息中如果包含一列表中本没有的列,此时服务器是不会检查出来的,因为只是语法验证,语义是否正确放在下一步进行。
3:语法符合后,就开始验证它的语义是否正确,例如,表名,列名,存储过程等等数据库对象是否真正存在,如果发现有不存在的,就会报错给应用程序,同时结束查询。
4:接下来就是获得对象的解析锁,我们在查询一个表时,首先服务器会对这个对象加锁,这是为了保证数据的统一性,如果不加锁,此时有数据插入,但因为没有加锁的原因,查询已经将这条记录读入,而有的插入会因为事务的失败会回滚,就会形成脏读的现象。
5:接下来就是对数据库用户权限的验证,SQL语句语法,语义都正确,此时并不一定能够得到查询结果,如果数据库用户没有相应的访问权限,服务器会报出权限不足的错误给应用程序,在稍大的项目中,往往一个项目里面会包含好几个数据库连接串,这些数据库用户具有不同的权限,有的是只读权限,有的是只写权限,有的是可读可写,根据不同的操作选取不同的用户来执行,稍微不注意,无论你的SQL语句写的多么完善,完美无缺都没用。
6:解析的最后一步,就是确定最终的执行计划。当语法,语义,权限都验证后,服务器并不会马上给你返回结果,而是会针对你的SQL进行优化,选择不同的查询算法以最高效的形式返回给应用程序。例如在做表联合查询时,服务器会根据开销成本来最终决定采用hash join,merge join ,还是loop join,采用哪一个索引会更高效等等,不过它的自动化优化是有限的,要想写出高效的查询SQL还是要优化自己的SQL查询语句。
当确定好执行计划后,就会把这个执行计划保存到SQL计划缓存中,下次在有相同的执行请求时,就直接从计划缓存中取,避免重新编译执行计划。
第三步：语句执行。
服务器对SQL语句解析完成后,服务器才会知道这条语句到底表态了什么意思,接下来才会真正的执行SQL语句

执行顺序：
1. FROM 子句返回初始结果集。
2. WHERE 子句排除不满足搜索条件的行。
3. GROUP BY 子句将选定的行收集到 GROUP BY 子句中各个唯一值的组中。
4. 选择列表中指定的聚合函数可以计算各组的汇总值。
5. 此外，HAVING 子句排除不满足搜索条件的行。
6. 计算所有的表达式；
7. 使用order by对结果集进行排序。
8.查找你要搜索的字段。

T-SQL查询的逻辑工作原理

很多朋友都会使用T-SQL编写查询，但实际上对于其工作原理大多知之甚少。下面我们来分析一下查询的逻辑工作原理，也就是说一个查询到底是怎么一步一步的工作，最终给我们展示数据的。

认真观察下面这个图。想想看，这是我们常写的语句，你真的有没有想过哪个部分是先执行，而哪是个后面执行的呢

image

image

ON,WHERE,HAVING是三种筛选的子句。正因为他们是在SELECT语句执行之前执行的，所以他们所用的表达式是不可以为SELECT子句中重命名的列的

他们还有一个共同特征，如果比较运算符的一个部分为NULL，则既不返回TRUE也不返回FALSE，而是返回UNKNOWN

下面我们用一个实例来讲解这些步骤

第一步：准备实验环境和数据

SET NOCOUNT ON;
USE tempdb;
GO
IF OBJECT_ID('dbo.Orders') IS NOT NULL
  DROP TABLE dbo.Orders;
GO
IF OBJECT_ID('dbo.Customers') IS NOT NULL
  DROP TABLE dbo.Customers;
GO
CREATE TABLE dbo.Customers
(
  customerid  CHAR(5)     NOT NULL PRIMARY KEY,
  city        VARCHAR(10) NOT NULL
);

INSERT INTO dbo.Customers(customerid, city) VALUES('FISSA', 'Madrid');
INSERT INTO dbo.Customers(customerid, city) VALUES('FRNDO', 'Madrid');
INSERT INTO dbo.Customers(customerid, city) VALUES('KRLOS', 'Madrid');
INSERT INTO dbo.Customers(customerid, city) VALUES('MRPHS', 'Zion');

CREATE TABLE dbo.Orders
(
  orderid    INT        NOT NULL PRIMARY KEY,
  customerid CHAR(5)    NULL     REFERENCES Customers(customerid)
);

INSERT INTO dbo.Orders(orderid, customerid) VALUES(1, 'FRNDO');
INSERT INTO dbo.Orders(orderid, customerid) VALUES(2, 'FRNDO');
INSERT INTO dbo.Orders(orderid, customerid) VALUES(3, 'KRLOS');
INSERT INTO dbo.Orders(orderid, customerid) VALUES(4, 'KRLOS');
INSERT INTO dbo.Orders(orderid, customerid) VALUES(5, 'KRLOS');
INSERT INTO dbo.Orders(orderid, customerid) VALUES(6, 'MRPHS');
INSERT INTO dbo.Orders(orderid, customerid) VALUES(7, NULL);

以上语句是在tempdb中创建了两个表，分别表示客户信息和订单信息。订单表与客户表是通过customerid进行连接的。我们也分别为他们输入了一些数据。如下面所示
image image

如你所见，这两个表很简单的

第二步：准备一个查询做测试

/*
一个测试查询，检索那些订单个数小于3的客户，并且按订单总数排序（升序）
*/
SELECT C.customerid, COUNT(O.orderid) AS numorders
FROM dbo.Customers AS C
  LEFT OUTER JOIN dbo.Orders AS O
    ON C.customerid = O.customerid
WHERE C.city = 'Madrid'
GROUP BY C.customerid
HAVING COUNT(O.orderid) < 3
ORDER BY numorders;

同样是很简单的一个查询，它返回是订单总数小于3的客户。如下所示

image

很多朋友研究到这里就停止了，不过，我们下面要详细的分析这个查询的结果是怎么出来的

/*第一步：处理FROM子句，把来源的表进行CROSS JOIN（笛卡尔乘积）
我这里把结果做一个生成表查询，写到一个临时表（VT1)中去
*/
SELECT C.customerid as Customer,c.city,o.* INTO #VT1 FROM dbo.Customers C,dbo.Orders O
SELECT * FROM #VT1
–返回28行数据（4*7)

image

–第二步：处理ON子句，只把那些两个表的customerid匹配的行找出来，我把它们放到VT2中去
SELECT temp.* INTO #VT2 FROM (SELECT * FROM #VT1 WHERE Customer=customerid) temp
SELECT * FROM #VT2
–返回6行数据

image

–第三步：根据JOIN语句的类型，决定是否要添加行到VT2中去，例如如果是LEFT JOIN的话，那么就要检查坐边的表（我们这里是customers表）的连接键值是否都存在，如果不存在就要去添加到VT2中
SELECT temp.* INTO #VT3 FROM
(SELECT * FROM #VT2
UNION ALL
SELECT CustomerID,City,NULL,NULL FROM dbo.Customers c WHERE NOT EXISTS(SELECT DISTINCT Customer FROM #VT2 WHERE Customer=c.CustomerID)) temp
SELECT * FROM #VT3
–返回7行数据，其中有一个客户，因为没有订单，这一步中被添加进来。它的Orders的记录被标记为NULL

image

–第四步：处理WHERE 子句，对VT3的结果集进行过滤，我们的条件是city=Madid
SELECT temp.* INTO #VT4 FROM
(SELECT * FROM #VT3 WHERE city=’Madrid’) temp
SELECT * FROM #VT4
–返回6行数据，因为有一个客户不是这个城市的

image

–第五步：处理GROUP子句,进行分类汇总
SELECT temp.* INTO #VT5 FROM
(SELECT Customer,COUNT(OrderID) as orderidcount,COUNT(city) as citycount,Count(customerid) as customeridcount FROM #VT4 GROUP BY Customer) temp
SELECT * FROM #VT5
–返回3行数据，根据客户分组，统计了订单的个数
–这里会不会去统计其他列的汇总呢
image

更正：这一步，逻辑上的数据结构是下面这样的，也就是说其实并没有计算。而是分组

image

–因为没有WITH Rollup和WITH Cube语句，所以跳过第六步，进入HAVING子句的处理

–第六步：处理HAVING子句，对GROUP之后的结果进行筛选，我们这里的条件是orderidcount<3
SELECT temp.* INTO #VT6 FROM
(SELECT * FROM #VT5 WHERE orderidcount<3) temp
SELECT * FROM #VT6
–返回2行数据
image

–第七步：使用SELECT 的字段列表过滤结果集
SELECT #VT6.Customer,#VT6.orderidcount as numorders INTO #VT7 FROM #VT6
SELECT * FROM #VT7
–还是2行数据，只不过只有两个列了
image

SELECT 返回的结果在内部其实是一个游标集，本身并没有顺序，它就好比是一个集合。

–第八步：跳过DISTINCT,进行OrderBy操作
SELECT #VT7.* INTO #VT8 FROM #VT7 Order By #VT7.Customer
SELECT * FROM #VT8
–返回2行数据，经过排序

image

–这个查询结束演示。完整的8个步骤
仔细看看，是不是我们需要的结果呢？