MVP黄钊吉（發糞塗牆）_發糞塗牆_CSDN博客-数据库管理,DBA,SQL Server DBA领域博主

原创 Azure SQL DB/DW 系列（14）——使用Query Store（3）——常用场景

本文属于Azure SQL DB/DW系列上一文：Azure SQL DB/DW 系列（13）——使用Query Store（2）——报表介绍（2）本文继续如何使用Query Store的常用场景前言 Query Store有很多用途，基于它的收集功能，很适合作为服务器的性能基线。性能基线是一个标准，用来后续判断服务器是否存在性能问题。所以专业的数据库及服务器运维，都应该制定合理的性...

2020-03-31 21:57:11 373

原创 Azure SQL DB/DW 系列（13）——使用Query Store（2）——报表介绍（2）

本文属于Azure SQL DB/DW系列上一文：Azure SQL DB/DW 系列（12）——使用Query Store（1）——报表介绍（1）本文继续介绍Query Store的报表带有强制执行计划的查询显示已经被强制使用特定执行计划的查询。可以看到用了多少执行计划，也可以用于回顾。由于这个报表本人用的比较少，所以就不做过多介绍。具有高度差异的查询这个报表可以...

2020-03-31 11:54:42 274

原创 Azure SQL DB/DW 系列（12）——使用Query Store（1）——报表介绍（1）

本文属于Azure SQL DB/DW系列上一文：Azure SQL DB/DW 系列（11）——重新认识Query Store（4）——Query Store维护本文开始介绍Query Store的输出——各种报表下一文：Azure SQL DB/DW 系列（13...

2020-03-30 21:08:20 345

原创 Azure SQL DB/DW 系列（11）——重新认识Query Store（4）——Query Store维护

本文属于Azure SQL DB/DW系列上一文：Azure SQL DB/DW 系列（9）——重新认识Query Store（2）——工作原理本文介绍Query Store的配置，包括PaaS平台和非云版本P73...

2020-03-30 16:33:47 289

原创 Azure SQL DB/DW 系列（10）——重新认识Query Store（3）——配置查询存储

本文属于Azure SQL DB/DW系列上一文：Azure SQL DB/DW 系列（9）——重新认识Query Store（2）——工作原理本文介绍Query Store的配置，包括PaaS平台和非云版本默认设置和其他功能一样，要最大化它的潜在用处，需要按需配置。Query Store在非云版本中（托管实例除外，因为托管实例非常接近非云版本）默认是不开启的，如果你需要使用，当然...

2020-03-29 20:54:55 314

原创 Azure SQL DB/DW 系列（9）——重新认识Query Store（2）——工作原理

本文属于Azure SQL DB/DW系列上一文：Azure SQL DB/DW 系列（8）——重新认识Query Store（1）——简介本文介绍Query Store的技术内幕数据来源 Query Store中的数据由三个部分的数据来源组成：查询和计划的信息：有关查询本身的数据以及查询优化器从该查询派生的执行计划的数据。查询的运行时信息：查询运行得多快，被调用了多少次，以及...

2020-03-29 18:39:07 241

原创 Azure SQL DB/DW 系列（8）——重新认识Query Store（1）——简介

本文属于Azure SQL DB/DW系列上一文：Azure SQL DB/DW 系列（7）——Query Store案例（4）——查找参数化问题本文开始整理和总结Query Store的技术要点，以更详细的方式简介Query StoreQuery Store优势 Query Store默认是关闭的，一旦开启，它就会收集数据库中查询的汇总信息和工作负载的统计信息。这些数据可以用来处理...

2020-03-29 12:59:45 241

原创 Azure SQL DB/DW 系列（7）——Query Store案例（4）——查找参数化问题

本文属于Azure SQL DB/DW系列上一文：Azure SQL DB/DW 系列（6）——Query Store案例（3）——查看等待信息本文演示如何用Query Store查看参数化带来的性能问题，但是跟前面3篇案例不同，这次使用纯T-SQL而不是GUI。前言 Query Store提供了一个全新的方式用于协助数据库用户处理性能问题甚至其他故障，本文演示如何使用Query S...

2020-03-29 11:12:34 262

原创 Azure SQL DB/DW 系列（6）——Query Store案例（3）——查看等待信息

本文属于Azure SQL DB/DW系列上一文：Azure SQL DB/DW 系列（5）——Query Store案例（2）——计划回归本文演示如何用Query Store查看等待信息前言关于等待信息的查看和使用方式有很多种，本文用全新的方法也就是Query Store来查看等待信息。我们知道，等待信息几乎可以说是常规应对性能问题甚至其他异常时的首要切入点。其实回顾过去的...

2020-03-27 20:37:19 242

原创 Azure SQL DB/DW 系列（5）——Query Store案例（2）——计划回归

本文属于Azure SQL DB/DW系列上一文：Azure SQL DB/DW 系列（3）——Query Store简介本文演示如何使用Query Store来找到计划回归并处理https://www.sqlpassion.at/archive/2016/01/18/performance-troubleshooting-with-the-query-store-in-sql-serv...

2020-03-26 21:35:08 258

原创 Azure SQL DB/DW 系列（4）——Query Store案例（1）——缺失索引

本文属于Azure SQL DB/DW系列上一文：Azure SQL DB/DW 系列（3）——Query Store简介本文演示如何使用Query Store来找到Missing Index环境搭建本文以AdventureWorks2017作为演示，使用SQL Server 2019的兼容级别（150）。首先需要启用Query Store，可以在SSMS中实现，不过如果你已...

2020-03-26 21:34:02 257

原创 Azure SQL DB/DW 系列（3）——Query Store简介

本文属于Azure SQL DB/DW系列上一文：Azure SQL DB/DW 系列（2）——入门级监控性能的工具简介从名字来看，Query Store就是查询存储，存储了查询（不仅限于SELECT，还包括 DML 语句如 SELECT、INSERT、UPDATE、DELETE、MERGE 和 BULK INSERT的计划。）的执行信息，供后续分析。它可用于SQL Server（本...

2020-03-25 16:31:12 301

原创 Azure SQL DB/DW 系列（2）——入门级监控性能的工具

关于性能监控，目前常用的有3种：Azure的控制台提供了服务器的资源使用情况。Azure控制台有专门的Performance的部分，特别是Performance Insight。在SSMS种可以查看的Query Store。接下来将简介一下这三种，然后优先介绍Query Store，因为这个功能可能更加有用。当然，还有一些其他方式可以使用，比如Extended Events。...

2020-03-25 11:57:36 321

原创 Azure SQL DB/DW 系列（1）——首次使用感受

由于不同的云供应商有自己的封装，加上本人目前公司的项目使用国际版的微软云Azure，所以我的环境只集中在国际版的Azure平台。前言云计算已经不再是什么新鲜事，作为IT人员更加如此。 ...

2020-03-25 11:53:48 485

原创 SQL Server 列存储索引性能总结（12）——RESOURCE_SEMAPHORE 等待

在SQL Server 列存储索引性能总结（10）——行组的大小影响一文中，实验过程当把服务器的max server memory(MB)值调到300MB并创建聚集列存储所以时，整整跑了5个小时都还没完成，然后查看对应的会话阻塞情况，发现了这个我过去很少见到过的等待状态，所以找了一些资料了解一下。当然，光从行为上，我大概能猜出是内存不够的原因，但是还是需要了解一下具体情况。背景在 “S...

2020-03-23 11:56:19 281

原创 SQL Server 列存储索引性能总结（11）——列存储的维护

接上文：SQL Server 列存储索引性能总结（10）——行组的大小影响索引需要维护，这个不多说，而维护通常就是两种：重建和重组。在一些可控的环境下（比如自己的机房），我选择使用Ola Hallengren的一整套维护脚本。非常好用。不过对于类似PaaS平台的SQL Server，可控性很弱，可能需要自己开发。但是这个不是本文的主题。本文介绍并演示重组和重建。如何选择重组和重建重组 ...

2020-03-23 09:57:21 330

原创 SQL Server 列存储索引性能总结（10）——行组的大小影响

我们知道，为了更好的性能，行组（row group)的大小最好是1045678行，或者小于10万行。如果没有办法达到最佳大小，在读取大量数据的时候，就很难用到列存储的优点。在列存储索引中，最重要的概念就是行组和片段，它们分别代表了数据存储在行存储和列存储中。在片段中，不管你存了1行还是100万行数，读取的时候都是每个页或者区来读取，所以如果行数太少，是挺浪费的。如果对未排序的列使用筛选条件，那...

2020-03-22 18:49:45 345

原创 SQL Server 列存储索引性能总结（9）——重建和重组聚集列存储索引所需的内存

接上文SQL Server 列存储索引性能总结（8）——列存储中的Dictionary，本文演示一下创建或重建及重组列存储索引时所需要的内存，因为在SQL Server 列存储索引性能总结（5）——列存储等待信息中我们也看到了如果内存不足，会出现不少等待。背景在数据导入列存储索引后，通常还会有不少行组没有被压缩，甚至全部没有被压缩，这个时候除了Tuple Mover之外，还可以通过...

2020-03-21 23:07:15 311

原创 SQL Server 列存储索引性能总结（8）——列存储中的Dictionary

接上文：SQL Server 列存储索引性能总结（7）——导入数据到列存储索引的Delta Store，前面提到了几次Dictionary，本文快速介绍一下它到底是什么，以便更好地理解列存储。不过这部分不会讲太深入，因为这个功能只能用于SQL Server而不适用于SQL DB和SQL DW（现在称为Azure Synapse Analytics）环境本文继续使用ContosoRe...

2020-03-20 10:13:26 281

原创 SQL Server 列存储索引性能总结（7）——导入数据到列存储索引的Delta Store

2020-03-19 16:16:48 297

原创 SQL Server 列存储索引性能总结（6）——聚集和非聚集列存储索引的压缩

接上文：SQL Server 列存储索引性能总结（5）——列存储等待信息，前面的文章主要集中在聚集列存储上，下面也是时候引入一下费聚集列存储索引的内容。这篇文章集中在不同列存储索引的“压缩”上面。还是使用ContosoRetailDW库做演示。对比一下两种列存储索引的压缩效率，其实我们应该已经知道结论了，不过不妨再看看过程。本文选择四个不同数据量，列也不相同的表做对比，尽可能覆...

2020-03-18 20:41:53 275

原创 SQL Server 列存储索引性能总结（5）——列存储等待信息

接上文：SQL Server 列存储索引性能总结（4）——列存储压缩，本文介绍列存储相关的锁上周六，我在加班，为公司的Azure SQL DB测试聚集列存储索引，按照网上的说法，对堆表建立聚集列存储索引应该很快的，何况我使用的是SQL DB中最高I/O的Pricing Tier——Business Critical vCore 80，号称IOPS 可达204800，Log的吞吐量也可以...

2020-03-18 20:18:23 218

原创 SQL Server 列存储索引性能总结（4）——列存储压缩

接上文：SQL Server 列存储索引性能总结（3）——列存储的锁，列存储的其中一个强项在于非常高的压缩率，如果没有这个压缩功能，列存储不可能有极大的性能提升。本文就来演示一下压缩方面的内容。案例测试压缩率高不高直接看大小的变化已经足够了，这次我们使用ContosoRetailDW库的FactOnlineSales表，这个表有1200万数据，可以作为一个借鉴，我们先把数据挪到一个堆...

2020-03-14 16:41:52 274

原创 SQL Server 列存储索引性能总结（3）——列存储的锁

接上文：SQL Server 列存储索引性能总结（2）——获取元数据信息，本文介绍列存储相关的锁现在在TempDB中重新建表：IF OBJECT_ID('dbo.CCTest', 'U') IS NOT NULL drop table dbo.CCTest;create table dbo.CCTest( id int not null, name varchar(50) ...

2020-03-12 16:28:36 143

原创 SQL Server 列存储索引性能总结（2）——获取元数据信息

接上文：SQL Server 列存储索引性能总结（1）——环境准备及简介，本文介绍怎么获取和解读元数据信息，以便后续演示过程能知道内幕技术，也可以方便在日常工作中的TroubleShooting。环境准备我们先创建一些环境，然后一边演示一边介绍，为了不受示例数据库的影响，这次在TempDB上面运行。创建测试表加聚集列存储索引，然后循环插入240万行数据：--use Tem...

2020-03-12 16:26:12 127

原创 SQL Server 列存储索引性能总结（1）——环境准备及简介

列存储是从SQL 2012引入，并在后面发挥非常大性能提升的功能，因为当前工作过程需要使用，并且已经出现了很多问题，所以这里我打算把这两个月的经验总结和分享一下。这个系列跟前面的有些类似，但是我希望能够把零碎的知识点合在一个系列中，最起码方便自己以后搜索。环境准备本文会使用SQL Server On Linux环境，不过这个问题不大，SQL Server 使用2019版本。 ...

2020-03-12 16:22:03 246

原创 SQL Server On Linux（27）——SQL Server on Linux 性能（11）——列存储索引案例

2020-03-10 15:33:28 126

原创 SQL Server On Linux（26）——SQL Server on Linux 性能（10）——列存储索引简介

2020-03-09 11:58:42 126

原创 SQL Server On Linux（25）——SQL on Linux 备份和还原（2）——还原

2020-03-07 17:39:41 259

原创 SQL Server On Linux（24）——SQL on Linux 备份和还原（1）——备份

2020-03-06 13:58:23 209

原创 SQL Azure工作积累（2）——Hyperscale 简介

工作需要，要评估Azure SQL DB的配置，所以整理一下网上搜集的信息，由于云产品更新迭代很快，所以今天的内容可能在不久的将来就会变更，但是这个不影响本质。本文归属：SQL Azure 工作积累（1）——添加用户到Azure SQL DB简介截止发文之时， Azure SQL DB有两种付费模式，一种是vCore，一种是DTU，但是由于公司使用vCore为主，所以先考虑vCore...

2020-03-05 14:55:07 334

原创 SQL Server导入性能对比（3）——In-Memory搭配聚集列存储索引

接上文SQL Server导入性能对比（2）——非聚集列存储索导入，本文测试In-Memory搭配聚集列存储索引的导入性能。环境准备先创建测试表，in-memory需要数据库开启“MEMORY_OPTIMIZED_DATA”并且添加专用文件组：use master;GOALTER DATABASE [ContosoRetailDW] ADD FILEGROUP [Conto...

2020-03-03 10:24:19 229

原创 SQL Server导入性能对比（2）——非聚集列存储索导入

接上文 SQL Server导入性能对比（1）——并行导入，这次使用非聚集列存储索引来测试性能。环境首先说明一下这里使用的还是SQL 2016以上的非聚集列存储索引，也就是可更新的列存储索引，在2012的时候已经出现但是是不可更新的。首先先创建测试表，然后对全部列进行索引化。注意这个时候表实际上是堆表，因为没有任何聚集索引在上面。CREATE TABLE [dbo].[Fac...

2020-03-02 14:15:23 177

原创 SQL Server导入性能对比（1）——WITH TABLOCK并行导入

随着大数据和大量数据系统的出现，数据的加载变得越来越重要，很多岗位甚至只需要ETL技能，不过今时今日数据加载已经不再是单纯的ETL，还有ELT，甚至不需要进行数据移动的计算等等。本文先把精力放在传统的ETL上。介绍几种数据加载的过程和对比。常规数据加载方式数据加载的本质就是把数据插入特定的地方，通常我们关注的是性能，说白了就是插入完成的时间，及引起的空间消耗。本文及后面两篇文章...

2020-03-02 11:37:39 152

原创 SQL Server—— 在ETL过程列存储索引vs 行存储索引

2020-02-29 13:16:53 165

原创 SQL Azure 工作积累（1）——添加用户到Azure SQL DB

本系列打算用于记录本人在工作中使用到Azure的功能，主要记录与本地SQL Server或者其他比较不一样的地方，不过由于每个人对工具软件的熟悉程度和侧重点不一样，所以无法覆盖所有读者的需求。前言第一篇文章记录的是关于Azure SQL DB的用户，在非PaaS版本中，我们通常都使用SSMS来创建和管理登录名和用户。不过对于PaaS，就有点不同。因为PaaS在界面和权限上跟非Pa...

2020-02-26 17:14:30 342

原创 SQL Server On Linux（23）—— SQL Server On Linux性能（9）——性能进阶简介——分区（3）

2020-02-21 15:57:07 134

原创 SQL Server On Linux（22）—— SQL Server On Linux性能（8）——性能进阶简介——分区（2）

2020-02-20 17:52:12 165

原创 SQL Server On Linux（21）—— SQL Server On Linux性能（7）——性能进阶简介——分区（1）

2020-01-15 15:29:03 283

原创 SQL Server On Linux（20）—— SQL Server On Linux性能（6）——针对性能的配置（Linux层面）

2019-04-01 09:26:31 825