發糞塗牆的博客_CSDN博客-数据库管理,DBA,SQL Server DBA领域博主

原创【Azure 架构师学习笔记】-Azure Logic Apps（5）- 标准和使用量类型的区别

在做实验的过程中，发现使用“使用量”（Consumption)类型会出现很多问题，而且有很多功能都找不到，后来对比一下官网的配置才发现当时为了省钱，使用了使用量类型。为了能继续后面的实现和学习，尝试使用标准（standard）类型，不过如下图所示，价格非常贵，所以在后续会只在截图时才创建，平时删除。

2023-02-01 09:11:07 186

原创【Azure 架构师学习笔记】-Azure Logic Apps（4）-演示2

上文做了简单的演示，这一文将开始较为详细的演示如何用Azure Logic Apps来删除自定义条件下的存储帐户上的文件。

2023-01-13 09:04:52 296 1

原创【Azure 架构师学习笔记】-Azure Logic Apps（3）-演示1

前面两篇文章大概介绍了一些理论知识，但是为用而学才是最重要的，所以接下来做一个非常简单的演示，用Logic App删除Storage account上面的文件。

2023-01-06 09:14:20 271

原创【Azure 架构师学习笔记】-Azure Logic Apps（2）-组件介绍

Logic Apps 包含了一系列的组件用来实现集成功能。但是最主要的是3部分：Connectors, triggers, 和actions。它们用于构建起整个Logic app的应用。

2022-12-27 17:33:37 333

原创【Azure 架构师学习笔记】-Azure Logic Apps（1）-简介

简介Azure Logic Apps

2022-12-16 15:04:53 375

原创【Azure Data Platform】Azure SQLDW与ADLS的整合

本文属于【Azure Data Platform】系列。接上文：【Azure Data Platform】Azure Data Lake(1)——简介前言在Azure上面，已经没有了data warehouse这种称呼，不过我还是偏向于使用SQL DW作为 Azure Synapse Analytics 的叫法。毕竟SQL DW还是行业称呼，没有用过Azure Synapse的人可能不熟悉它是什么东西。其实 Azure Synapse Analytics 代表着在Data lake上的大数据与传.

2022-03-27 17:03:45 1970

原创【Azure Data Platform】Azure Data Lake(1)——简介

本文属于【Azure Data Platform】系列。接上文：【Azure Data Platform】SQL DW 备份策略https://www.matillion.com/resources/blog/what-is-azure-data-lakehttps://k21academy.com/microsoft-azure/data-engineer/azure-data-lake/https://global.hitachi-solutions.com/blog/6-features-.

2022-03-26 11:21:36 2605

原创【Azure Data Platform】SQL DW 备份策略

本文属于【Azure Data Platform】系列。接上文：【Azure Data Platform】数据平台的选择本文谈一下SQL DW的备份策略前言数据库的备份重要性不用多说，但是随着各种产品特别是云数据库的出现，其备份形式就有了比较多的种类。我本人并没有用过本地版的数据仓库。只是在工作过程中，使用了Azure SQL DB（SQL Server的PaaS版本）之后，又切换到SQL DW，在项目的角度来说，其备份策略也影响了项目的验收。SQL DW实际上并没有“备份”这一说法，它只有快.

2022-03-22 19:16:58 519

原创【Azure Data Platform】数据平台的选择

本文属于【Azure Data Platform】系列。接上文：【Azure Data Platform】Dedicated SQL Pool——导入性能测试（4）——总结本文谈一下数据平台的选择前言云计算已经被广泛接受和使用，那么在关于数据平台方面，很多人会关心数据库，数据仓库，和数据湖的关系，我们都看重数据，也希望使用数据，很多时候我们已经有数据了，但是由于数据的产生形式不一样，数据的使用和存储都有不一样的要求。另外在工作中也有不少需求要选择数据平台，所以整理了一些关键因素。我们常用的数据.

2022-03-21 19:38:44 2422

原创【Azure Data Platform】Dedicated SQL Pool——导入性能测试（4）——总结

本文属于【Azure Data Platform】系列。接上文：【Azure Data Platform】Dedicated SQL Pool——导入性能测试（3）——Copy首先，我们需要知道SQL DW是一个MPP的系统。关于导入，为了最大限度地提高负载性能，负载会话应利用 MPP 体系结构直接连接到计算。SQL DW的每个计算节点（compute node）通过DMS服务，借助HDFS bridge来访问存储上的数据。这个过程，跟DWU有很大关系，如下图所示，每个DWU都有对应的read.

2022-03-21 19:37:39 366

原创【Azure Data Platform】Dedicated SQL Pool——导入性能测试（3）——Copy

本文属于【Azure Data Platform】系列。接上文：【Azure Data Platform】Dedicated SQL Pool——导入性能测试（2）——CTAS本文介绍SQL DW，也称Synapse Analysis，或者最新的Dedicated SQL Pool的外部导数工具的对比。–COPY INTO dbo.test_hash_cci_CopyFROM ‘https://sago02easshalleyadls02.dfs.core.windows.net/halley.

2022-03-19 19:57:32 393

原创【Azure Data Platform】Dedicated SQL Pool——导入性能测试（2）——CTAS

本文属于【Azure Data Platform】系列。接上文：【Azure Data Platform】Dedicated SQL Pool——导入性能测试（1）——传统insert本文介绍SQL DW，也称Synapse Analysis，或者最新的Dedicated SQL Pool的外部导数工具的对比。--CREATE TABLE [dbo].test_robin_heap_ctasWITH (DISTRIBUTION = ROUND_ROBIN,HEAP)ASSELECT * .

2022-03-19 15:24:07 343

原创【Azure Data Platform】Dedicated SQL Pool——导入性能测试（1）——传统insert

本文属于【Azure Data Platform】系列。接上文：【Azure Data Platform】使用Azure Blob Storage Lifecycle Management归档数据本文介绍SQL DW，也称Synapse Analysis，或者最新的Dedicated SQL Pool的外部导数工具的对比。前言项目从前年开始使用SQL DW（我还是习惯用这个术语）...

2022-03-17 19:17:01 313

原创【Azure Data Platform】使用Azure Blob Storage Lifecycle Management归档数据

本文属于【Azure Data Platform】系列。接上文：【Azure Data Platform】ETL工具(22)——Azure Databricks与ADF整合本文介绍Azure Blob Storage的Lifecycle Management功能前言由于最近工作需要，临时加了任务，主要是降低ADLS的存储费用，除了直接删除或手动、编程移动到其他地方，还发现有一个可用的功能“Lifecycle Management”。所以这里整理和总结一下。Azure 存储是 Microsoft.

2022-03-14 19:25:23 521

原创【Azure Data Platform】ETL工具(22)——Azure Databricks与ADF整合

本文属于【Azure Data Platform】系列。接上文：【Azure Data Platform】ETL工具(21)——Azure Databricks使用（1）——访问Azure Blob本文演示如何整合ADF和Azure Databricks环境准备前面已经演示过如何创建ADF和Azure Databricks，下面来演示如何整合它们。首先对于Azure Databricks，先要创建集群（集群是基础），然后创建一个表。如下图导航：会出现一个新界面，提示创建新表的配置。可以通过.

2022-03-13 12:37:02 914

原创【Azure Data Platform】ETL工具(21)——Azure Databricks使用（1）——访问Azure Blob

本文属于【Azure Data Platform】系列。接上文：【Azure Data Platform】ETL工具(20)——创建Azure Databricks本文演示如何通过Azure Databricks访问Azure存储环境准备在前面的ADF章节，我们已经创建过存储账户，所以这里直接使用。但是对于Databricks，则需要使用额外配置，这里用notebook和Scala语言来实现。创建Scala notebook前，先创建一个集群，使用前一篇的方式创建即可。然后按下图创建noteb.

2022-03-12 20:54:14 434

原创【Azure Data Platform】ETL工具(20)——创建Azure Databricks

本文属于【Azure Data Platform】系列。接上文：【Azure Data Platform】ETL工具(19)——Azure Databricks本文演示如何创建一个Azure Databricks创建资源在Azure Portal上输入Databricks，就会出现对应的服务。然后点击进去。点击创建：Azure的资源都属于某个特定的资源组，所以资源组是必填项，这里我使用新建一个：输入工作区名称，在定价层里面，如果预算有限可以使用试用版，这里我使用标准版（因为我够预算☺.

2022-03-10 20:36:42 318

原创【Azure Data Platform】ETL工具(19)——Azure Databricks

本文属于【Azure Data Platform】系列。接上文：【Azure Data Platform】ETL工具(18)——ADF 迭代和条件活动（2）这次来聊聊Azure Databricks前言之所以突然停下ADF的介绍转而向Azure Databricks，是因为最近公司的项目已经呈现出ADF与Databricks的组合趋势。为了更好地运维公司的项目，有必要了解一下Databricks。并且大概介绍一下Azure Data Factory和Azure Databricks的关系。什.

2022-03-10 08:13:03 2039

原创【Azure Data Platform】ETL工具(18)——ADF 迭代和条件活动（2）

本文属于【Azure Data Platform】系列。接上文：【Azure Data Platform】ETL工具(17)——ADF 迭代和条件活动（1）本文接上文，继续简要介绍ADF的迭代和条件活动If Condition这次用的不是参数，而是变量，如下图所示，点击空白处然后选择变量，新建一个变量Var，类型为字符串，值为Y。创建一个表和存储过程来验证结果：CREATE TABLE [dbo].[TBL_If_Activity]([VALUE] VARCHAR(10) NULL) .

2022-03-05 19:00:16 245

原创【Azure Data Platform】ETL工具(17)——ADF 迭代和条件活动（1）

本文属于【Azure Data Platform】系列。接上文：【Azure Data Platform】ETL工具(15)——ADF Lookup详解本文介绍ADF 的ForEach活动https://www.mssqltips.com/sqlservertip/6187/azure-data-factory-foreach-activity-example/前言上文介绍了Lookup活动，现在接着介绍ForEach活动。ForEach常用于对源和目标是多个，但是处理逻辑是一个的情况。把源与.

2022-03-05 12:16:25 374

原创【Azure Data Platform】ETL工具(16)——ADF 变量

本文属于【Azure Data Platform】系列。接上文：【Azure Data Platform】ETL工具(15)——ADF Lookup详解本文介绍ADF 的变量前言前面我们演示了很多参数，但是也提及了“变量”，那么这篇文章先介绍一下变量的内容，以便后续能够更加清晰地知道如何使用参数和变量。在编程的时候，比如写一个存储过程，我们会对存储过程传输参数，然后在存储过程内部，对参数进行处理，生成一些变量。当然有些可以直接使用参数。那变量和参数到底有什么区别？参数：是传递到管道中的外部值.

2022-03-01 21:00:43 352

原创【Azure Data Platform】ETL工具(15)——ADF Lookup详解

本文属于【Azure Data Platform】系列。接上文：【Azure Data Platform】ETL工具(14)——ADF控制流简介本文介绍ADF 的lookup 详解https://www.mssqltips.com/sqlservertip/6185/azure-data-factory-lookup-activity-example/

2022-02-28 15:52:46 551

原创【Azure Data Platform】ETL工具(14)——ADF控制流简介

本文属于【Azure Data Platform】系列。接上文：【Azure Data Platform】ETL工具(13)——ADF并行加载多个文件本文介绍ADF 的控制流前言上一文已经引入了“查找(lookup)”这个活动，那么现在应该开始引入其他的一些控制流活动。https://www.mssqltips.com/sqlservertip/6137/azure-data-factory-control-flow-activities-overview/...

2022-02-27 18:48:13 401

原创【Azure Data Platform】ETL工具(13)——ADF并行加载多个文件

本文属于【Azure Data Platform】系列。接上文：【Azure Data Platform】ETL工具(12)——ADF 参数本文介绍ADF 的并行导入多个文件https://www.mssqltips.com/sqlservertip/6281/how-to-load-multiple-files-in-parallel-in-azure-data-factory-part-1/前言在一个数据类的IT项目中，从多个位置（云和本地或者云中很多存储）中的多个文件导入到一个数据库，比.

2022-02-26 20:47:45 363

原创【Azure Data Platform】ETL工具(12)——ADF 参数

本文属于【Azure Data Platform】系列。接上文：【【Azure Data Platform】ETL工具(11)——ADF 数据流本文介绍ADF 的参数https://www.cathrinewilhelmsen.net/parameters-azure-data-factory/

2022-02-20 11:04:59 509

原创【Azure Data Platform】ETL工具(11)——ADF 数据流

本文属于【Azure Data Platform】系列。接上文：【【Azure Data Platform】ETL工具(10)——ADF 集成运行时（Integration Runtimes，IR）本文介绍ADF 的数据流https://www.mssqltips.com/sqlservertip/6922/azure-data-factory-data-flows/前言跟【Azure Data Platform】ETL工具(5)——使用Azure Data Factory数据流转换数据不同，.

2022-02-15 16:15:24 658

原创【Azure Data Platform】ETL工具(10)——ADF 集成运行时（Integration Runtimes，IR）

本文属于【Azure Data Platform】系列。接上文：【Azure Data Platform】ETL工具(7)——ADF copy data 详解本文介绍ADF 的数据集和链接服务https://www.cathrinewilhelmsen.net/data-flows-azure-data-factory/

2022-02-12 17:39:06 702

原创【Azure Data Platform】ETL工具(9)——ADF性能优化案例分享（1）

本文属于【Azure Data Platform】系列。接上文：【Azure Data Platform】ETL工具(8)——ADF 数据集和链接服务本文分享一下工作中遇到的ADF性能问题最近工作中遇到了一些ADF的性能问题，下面https://docs.microsoft.com/en-us/azure/data-factory/concepts-data-flow-performance-sinks...

2022-02-10 20:01:07 428

原创【Azure Data Platform】ETL工具(8)——ADF 数据集和链接服务

本文属于【Azure Data Platform】系列。接上文：【Azure Data Platform】ETL工具(7)——ADF copy data 详解本文介绍ADF 的数据集https://www.cathrinewilhelmsen.net/datasets-azure-data-factory/

2022-02-06 17:11:51 774

原创【Azure Data Platform】ETL工具(7)——ADF copy data 详解

本文属于【Azure Data Platform】系列。接上文：【Azure Data Platform】ETL工具(6)——重新认识Azure Data Factory本文详细介绍ADF 核心组件之一——Copy Datahttps://www.cathrinewilhelmsen.net/copy-data-activity-azure-data-factory/...

2022-01-29 14:45:42 745

原创【Azure Data Platform】ETL工具(6)——重新认识Azure Data Factory

本文属于【Azure Data Platform】系列。接上文：【Azure Data Platform】ETL工具(5)——使用Azure Data Factory数据流传输数据本文介绍如何 ADF 的数据流传输数据。https://www.sqlshack.com/run-ssis-packages-in-azure-data-factory/【Azure Data Platform】ETL工具(5)——使用Azure Data Factory数据流传输数据...

2022-01-28 14:04:25 959

原创【Azure Data Platform】ETL工具(5)——使用Azure Data Factory数据流转换数据

本文属于【Azure Data Platform】系列。接上文：【Azure Data Platform】ETL工具(4)——Azure Data Factory Debug 管道本文介绍如何Debug ADF 的管道。

2022-01-24 15:14:00 1606

原创【Azure Data Platform】ETL工具(4)——Azure Data Factory Debug 管道

本文属于【Azure Data Platform】系列。接上文：【Azure Data Platform】ETL工具(3)——Azure Data Factory 从本地数据源复制到Azure本文介绍如何Debug ADF 的管道。原因在使用ADF的过程中，碰到了很多报错，因此我觉得先缓一下，把如何debug放到前面，以免浪费太多时间在找问题上面。确保每个功能能符合预期的结果及性能，可以在大型项目中节省很多时间。Debug是会实际执行操作。比如复制数据，在debug的时候数据还是会被复制，只.

2022-01-14 10:58:10 275

原创【Azure Data Platform】ETL工具(3)——Azure Data Factory 从本地数据源复制到Azure

本文属于【Azure Data Platform】系列。接上文：【Azure Data Platform】ETL工具(2)——Azure Data Factory “复制数据”工具（云中复制）本文演示如何使用ADF 从本地数据源中复制数据到Azure中。https://www.sqlshack.com/copy-data-from-on-premises-data-store-to-an-azure-data-store-using-azure-data-factory/...

2022-01-14 10:56:59 700

原创【Azure Data Platform】ETL工具(2)——Azure Data Factory “复制数据”工具（云中复制）

接上文：【Azure Data Platform】ETL工具(1)——Azure Data Factory简介当我们的环境准备好之后，下面演示一下最简单的ADF 操作，本文将创建一个Azure Blob Storage和Azure SQL Database 作为数据传输的演示。在ADF中，有一个“复制数据”工具，借助这个工具，可以把在不同地方（本地或云）的不同数据源中实现数据的传输。基本上支持你能想到的所有常规数据源，具体列表以这里为准：Supported data stores and formats

2022-01-06 14:35:17 1022 3

原创【Azure Data Platform】ETL工具(1)——Azure Data Factory简介

关于对数据的使用，除了存储（数据库），还有收集（ETL/ELT等）及分析。由于工作需要，在边工作的过程中整理一下基于Azure Data Factory（ADF）的一些知识。作为一个数据平台解决方案，数据收集是其中一个必要的部分。在选择数据收集工具时，有几个点需要考虑（假定你的环境是基于云，这里的Azure）：是否使用平台提供的？有很多厂商都提供了本地版和基于云版本的工具，时效性费用：当然，免费的工具就不建议商用了。这系列文章针对的是Azure的ETL 工具Data Factory，首先

2022-01-04 11:58:26 1444

原创 Azure SQL DB/DW 系列（14）——使用Query Store（3）——常用场景

本文属于Azure SQL DB/DW系列上一文：Azure SQL DB/DW 系列（13）——使用Query Store（2）——报表介绍（2）本文继续如何使用Query Store的常用场景前言 Query Store有很多用途，基于它的收集功能，很适合作为服务器的性能基线。性能基线是一个标准，用来后续判断服务器是否存在性能问题。所以专业的数据库及服务器运维，都应该制定合理的性...

2020-03-31 21:57:11 1080 1

原创 Azure SQL DB/DW 系列（13）——使用Query Store（2）——报表介绍（2）

本文属于Azure SQL DB/DW系列上一文：Azure SQL DB/DW 系列（12）——使用Query Store（1）——报表介绍（1）本文继续介绍Query Store的报表带有强制执行计划的查询显示已经被强制使用特定执行计划的查询。可以看到用了多少执行计划，也可以用于回顾。由于这个报表本人用的比较少，所以就不做过多介绍。具有高度差异的查询这个报表可以...

2020-03-31 11:54:42 805

原创 Azure SQL DB/DW 系列（12）——使用Query Store（1）——报表介绍（1）

本文属于Azure SQL DB/DW系列上一文：Azure SQL DB/DW 系列（11）——重新认识Query Store（4）——Query Store维护本文开始介绍Query Store的输出——各种报表下一文：Azure SQL DB/DW 系列（13...

2020-03-30 21:08:20 965

原创 Azure SQL DB/DW 系列（11）——重新认识Query Store（4）——Query Store维护

本文属于Azure SQL DB/DW系列上一文：Azure SQL DB/DW 系列（9）——重新认识Query Store（2）——工作原理本文介绍Query Store的配置，包括PaaS平台和非云版本P73...

2020-03-30 16:33:47 814

make_big_adventure.sql

用来创建AdventureWork上测大型测试表，由于国外网站需要某些方式才能获取，所以我共享出来。

2020-03-28

Windows性能计数器列表

可用于监控服务器及数据库的性能问题。通过配置数据收集器集长时间运行，可以了解整个服务器的性能趋势和资源利用情况

2018-05-07

SQL Server 2017及SQLDB权限结构图

极其详细的官方权限架构图，如果有想法在安全和权限中有所作为，请仔细研读。但是需要提醒，非常详细并不容易研读。

2018-01-11

Windows PowerShell实战指南（第2版）样章

PowerShell既是编程语言，也是一种管理Shell。通过PowerShell几乎可以管理Windows的方方面面。本书是为忙于运维的管理员所编写的参考指南。只需要1个月、每天1小时，读者就能够学到让自己的工作变得更轻松的实战技能。本书章节安排合理，每章只需要1小时，即可以零编程基础开始学习PowerShell。本书作者是PowerShell界的泰斗Don Jones与Jeffery Hicks。他们都是多年的PowerShell MVP，并以简洁、易入门的培训和写作风格而著称。

2016-01-05

Microsoft Big Data Solutions

微软最新大数据解决方案神作。大数据时代微软从业人员必读书籍

2014-05-04

SQLServer安全性文档

关于SQLServer的安全性白皮书，写的很好

2013-05-17

使用DMV对SQLServer进行性能调优

原名：《Performance Tuning With SQL Server Dynamic Management Views》，本资源为英文清晰原版PDF。从2005以后引入了DMO（DMV+DMF）作为SQLServer管理工具，本书通过使用DMO，专注于SQLServer的性能优化。性能优化的手段有多种，但是DMO具有便捷的特性，使其在SQLServer的管理中具有不可替代并越来越重要的作用，精度本书将会对DBA甚至数据库开发人员的水平带来很大的提升。

2013-05-02