![](https://img-blog.csdnimg.cn/20201014180756923.png?x-oss-process=image/resize,m_fixed,h_64,w_64)
Azure 架构师学习笔记
文章平均质量分 83
發糞塗牆
MVP, TOGAF, MCSE, Azure Solution Architect
展开
-
【Azure 架构师学习笔记】- Azure Service Endpoint 和 Azure Private Endpoint
前面两章【Azure 架构师学习笔记】- Azure Private Endpoint和【Azure 架构师学习笔记】- Azure Service Endpoint分别介绍了PE 和SE的内容。那么这两者的区别在哪里,什么时候用?通过网上搜集资料和测试,总结了以下内容。原创 2024-03-12 09:25:08 · 517 阅读 · 0 评论 -
【Azure 架构师学习笔记】- Azure Private Endpoint
公有云的其中一个特点是默认允许公网访问, 这就对企业环境带来风险,也是很多年前企业对公有云抵触的其中一个原因,现在这类问题已经很少,因为有了很多技术来确保云上的资源被安全地访问。其中Private endpoint(PE)就起到了很重要的作用。云上的某个资源如VM会创建在特定的网络(VNet/Subnet)上, 而其他如Storage Account , Azure SQL等PaaS服务则没有。如果你需要用VM 来访问这些PaaS资源,VM 就会通过资源的公网IP 来访问。原创 2024-03-07 09:26:04 · 1194 阅读 · 0 评论 -
【Azure 架构师学习笔记】- Azure Service Endpoint
在做Azure 架构时,经常会被问到Service Endpoint这个点,那么这篇文章来介绍一下Service Endpoint(SE)。原创 2024-03-05 09:11:50 · 641 阅读 · 0 评论 -
【Azure 架构师学习笔记】-Azure Synapse -- Link for SQL 实时数据加载
Azure Synapse Link for SQL 可以提供从SQL Server或者Azure SQL中接近实时的数据加载。通过这个技术,使用SQL Server/Azure SQL中的新数据能够几乎实时地传送到Synapse(SQL DW)中。然后进行后续的数据分析。这个过程通过change feed技术最小化对Azure SQL/SQL Server的影响。在这个移动过程中,会使用ADLS Gen2 作为暂存,然后再加载到Synapse dedicated pool中。原创 2024-02-27 09:14:59 · 1075 阅读 · 0 评论 -
【Azure 架构师学习笔记】- Azure Databricks (10) -- UC 使用
本文属于。本文属于【Azure Databricks】系列。接上文中演示了如何配置一个UC。本文在配置的基础上大概演示其使用。原创 2024-02-22 15:44:56 · 694 阅读 · 0 评论 -
【Azure 架构师学习笔记】- Azure Databricks (9) -- UC权限
本文属于。本文属于【Azure Databricks】系列。接上文UC 是Databricks进行数据治理,集中权限管控, 提高大规模数据存储,共享安全性的新工具。通过基于角色的访问控制(Role-based access control)来实现这种控制。所以接下来我们将介绍角色。原创 2024-02-21 09:36:35 · 686 阅读 · 0 评论 -
【Azure 架构师学习笔记】- Azure Databricks (8) --UC架构简介
UC 简单来说,就是管理两样东西:用户和元存储。原创 2024-02-20 09:24:31 · 664 阅读 · 0 评论 -
【Azure 架构师学习笔记】- Azure Databricks (7) --Unity Catalog(UC) 基本概念和组件
在以前的Databricks中,主要由Workspace和集群、SQL Warehouse组成, 这两年Databricks公司推出了Unity Catalog(UC)之后,整个Databricks架构都有了不一样的改变。它在Workspace之上添加了一层UC, 包含了用户管理(User Management)和元存储(Metastore)。原创 2024-02-19 11:29:56 · 1290 阅读 · 0 评论 -
【Azure 架构师学习笔记】- Azure Databricks (6) - 配置Unity Catalog
本文属于。本文属于【Azure Databricks】系列。接上文。原创 2024-01-15 09:21:28 · 1209 阅读 · 0 评论 -
【Azure 架构师学习笔记】- Azure Databricks (5) - Unity Catalog 简介
DataBricks Unity Catalog(UC)是一个统一的对数据资产治理的解决方案。它对所有数资产进行集中管理,搭配一系列数据治理框架和扩展的审计功能。还有一种描述:UC 是对data lake上的数据展示进行细粒度数据治理的解决方案。它帮助简化安全性,同时对数据治理提供一个集中区域进行统一的控制访问和审计访问。原创 2024-01-08 09:17:42 · 1411 阅读 · 0 评论 -
【Azure 架构师学习笔记】- Azure Databricks (4) - 使用Azure Key Vault 管理ADB Secret
Azure Databricks有access token,是具有ADB内部最高权限的token。在云环境中这些高级别权限的secret都需要很好地被保护起来。Azure Key Vault-backed: secret 存储在Azure Key Vault, ADB 通过创建于AKV支持的Secret Sope来实现引用Secret。Databricks-backed:Databricks自带有一个数据库,也可以通过存储在这个数据库来引用secret。原创 2023-12-29 16:08:28 · 1605 阅读 · 0 评论 -
【Azure 架构师学习笔记】- Power Platform(1) - 简介
快速创建低代码,直观的自定义程序开发方式, 跟Logic App比较对非技术人员更加友好。非技术人员可以通过自行编写应用来满足业务需求。原创 2023-12-26 09:00:28 · 1468 阅读 · 0 评论 -
【Azure 架构师学习笔记】- Azure Databricks (3) - 再次认识DataBricks
在对Databricks有了初步了解之后,如果要深入使用则需要对其进行更深层次的了解。原创 2023-12-13 08:59:13 · 1332 阅读 · 0 评论 -
【Azure 架构师学习笔记】- Azure Databricks (2) -集群
在上文中提到了ADB 的其中一个核心就是集群,所以这里专门研究一下ADB 的集群。原创 2023-12-06 08:56:11 · 1105 阅读 · 0 评论 -
【Azure 架构师学习笔记】- Azure Databricks (1) - 环境搭建
Databricks 已经成为了数据科学的必备工具,今时今日你已经很难抛开它来谈大数据,它常用于做复杂的ETL中的T, 数据分析,数据挖掘等,特别适用于做数据建模,机器学习等。那么顺应时代,现在也来看看这个工具的内容。首先要有一个环境,基于Azure 的Databricks简称ADB。托管在Azure 上的Databricks已经被Azure进行了很大的优化, 在搭建时只需要简单的几步即可拥有一个环境,不过要提醒一句ADB的集群并不便宜,用完马上删掉或停止, 否则一晚过百美金就会烧掉。原创 2023-11-30 09:43:57 · 1562 阅读 · 0 评论 -
【Azure 架构师学习笔记】-Azure Storage Account(7)- 权限控制
存储帐户作为其中一个数据终端存储,对安全性的要求非常高,不管在云还是本地环境中,基于角色的权限定义(RBAC: Role-based Access Control)变得越来越普及。RBAC通过预设或者自定义一些通用角色,然后分配常规权限,用户只需要于这些角色进行关联就可以获得对应的权限。这种方式不是新东西,但是在云环境这种大规模,多租户的情况下,很好地降低了权限管理的难度和工作量。原创 2023-11-22 09:00:21 · 484 阅读 · 0 评论 -
【Azure 架构师学习笔记】-Azure Storage Account(6)- File Layer
上一文介绍了存储帐户的概述,还有container的一些配置,在container下面存放的就是文件夹和文件,也就是数据。之所以单独一文描述是因为当一个项目考虑使用云存储时,除了一些必要的外部设置这种“硬”设计之外,还需要考虑文件结构这种“软”设计。本文讲述的就是比较通用的“软”设计部分。在container下面,按照业界的一些最佳实践,会定义一些列的Zone, 目录,当然还要配置安全控制,将在下一文介绍。原创 2023-11-15 08:56:43 · 551 阅读 · 0 评论 -
【Azure 架构师学习笔记】-Azure Storage Account(5)- Data Lake layers
不管在云还是非云环境中, 存储是IT 系统的其中一个核心组件。在Azure 上,云存储主要以存储帐户(Storage Account)来实现。在使用Storage Account时,又有很多需要考虑的事项,比如安全,高可用,文件结构等。本系列分3篇文章,以最常用的Azure Data Lake Store Gen2 (ADLS Gen2)作为例子演示一些架构方面的配置和考虑, 包括:Storage Account的物理结构、文件系统设计、安全配置。原创 2023-11-08 08:50:27 · 830 阅读 · 0 评论 -
【Azure 架构师学习笔记】-Azure Data Factory (5) --Data Flow
Azure Data Factory, ADF 是微软Azure 的ETL 首选服务之一, 是Azure data platform中的一种PaaS, 托管的, Serverless的服务。通过把ETL功能封装在各种类型的Pipeline中并按需执行,从而实现数据的传输和转换。原创 2023-10-09 08:54:43 · 1093 阅读 · 0 评论 -
【Azure 架构师学习笔记】-Azure Data Factory (5)-Managed VNet
PaaS服务默认都经过公网传输, 这对很多企业而言并不安全,那么就需要对其进行安全改造,本文介绍一下ADF 在这方面的内容。当我们需要用ADF 访问SQL DB 时,如何使用更加安全?如果有一定ADF 基础的人可能知道ADF 可以使用SHIR,和Azure IR两种主流方式, SHIR 基于VM ,IaaS是可以通过网络配置使其私有化,更加安全。对于Azure IR,默认使用Internet。原创 2023-03-28 09:12:42 · 687 阅读 · 1 评论 -
【Azure 架构师学习笔记】-Azure Storage Account(4)- ADF 读取Queue Storage
上一文演示了如何从ADF 写入消息到Storage Queue, 本文接着演示如何用ADF从Queue中读取消息。原创 2023-03-24 09:04:36 · 384 阅读 · 0 评论 -
【Azure 架构师学习笔记】-Azure Storage Account(3)- ADF 访问Queue Storage
随着ADF 连接其他资源的需求越来越多,内置的功能很多时候没法直接使用,比如访问Storage Queue就没有对应的activity可以用,这个时候就可以考虑使用Web Activity来实现。首先创建一个队列:https://你的storage account.queue.core.windows.net/queue的名字/messages方法:可以看到有GET, POST,PUT, DELETE,PATCH可选。这里我们选择POST。原创 2023-03-22 08:48:12 · 348 阅读 · 0 评论 -
【Azure 架构师学习笔记】-Azure Storage Account(2)- Queue Storage
Azure Storage Queues 是一个专门用来处理基于云环境队列的Azure 服务。每个队列都维护着一些消息(messages)。在消息队列中,需要有发送者(Sender)和接收者(Receiver),发送者把消息放进队列中,接收者把消息从前面的队列中读取并处理。消息队列常用于社交媒体的消息发送中, 由于它的实时性要求并不是非常高,可以把消息先放到队列中,然后放到多个管道中进行后续发布,这样可以很大程度上减缓压力。原创 2023-03-07 09:05:30 · 457 阅读 · 0 评论 -
【Azure 架构师学习笔记】-Azure Storage Account(1)-类型简介
大数据引起了存储革命, 云计算又为大容量高速存储提供了可能的方案,每个商业云供应商都会提供特殊的云存储。而Azure 对应的云存储则称为存储帐户(Storage account)。它被广泛使用在各种云系统、服务中,作为数据的临时或者永久存储,现在建立在云上的PaaS类型的系统,几乎无一例外会使用到它,虽然可能需要自建,也可能是服务自带的。Storage Account(下称SA)具有可扩展性,相对价格低廉,性能稳定的特点, 不过在正式使用时,往往会有一些疑问,SA 到底怎么用?原创 2023-03-03 08:54:02 · 1290 阅读 · 0 评论 -
【Azure 架构师学习笔记】-Azure Data Factory (4)-触发器详解-事件触发器
事件触发指的是存储事件,所以在新版的ADF 中,已经明确了是“存储事件”, 当对blob进行创建,删除时,就会触发事件。和“翻转窗口”有点不同的是,翻转窗口是一对一的触发,事件触发时多对多的关系,一个事件可以触发多个pipeline。事件可以只选一个,也可以全选两个。本文使用【已创建Blob】来演示,简单来说就是上传一个文件(blob), 使触发器触发这个事件,并把文件从我个人storage account的“logicapp / source” 下搬到“dest / dest”。原创 2023-03-01 09:34:37 · 473 阅读 · 0 评论 -
【Azure 架构师学习笔记】-Azure Data Factory (3)-触发器详解-翻转窗口
上文中提到触发器的类型有以下4种,其中第一种【计划】是常用的, 与其他工具/服务类似的方式,这里就只做简单介绍:可以看到这种类型下,都是基于日期形式的选择:还能根据月历来指定具体的停止时间:但是本文重点介绍的是另外一种类型【翻转窗口】。原创 2023-02-24 09:09:02 · 456 阅读 · 0 评论 -
【Azure 架构师学习笔记】-Azure Data Factory (2)-触发器
【添加触发器】/立即触发:马上执行pipeline,但是仅这次。触发结果如下图:调试:跟立即触发有一点小区别,主要在于日志的收集。当调试时,可以看到pipeline的细节输出到下方界面。但是使用立即触发时,日志需要去监控页查看。【添加触发器】/新建/编辑:这是配置pipeline的调度。【Azure 架构师学习笔记】-Azure Logic Apps(6)- Logic Apps调用ADF计划(Schedule):设置基于事件和频率的触发器。就是上文提到的默认配置。原创 2023-02-22 09:38:48 · 533 阅读 · 0 评论 -
【Azure 架构师学习笔记】-Azure Data Factory (1)-调度入门
在开发好一个ADF pipeline(功能)之后,需要将其按需要运行起来,这个称之为调度。下图是一个简单的ADF 运作图, 按照需要的顺序,由某个程序或者人,调度Data Factory Service里面的pipelines。这些pipelines是在Data Factory Service中定义和存储的。然后通过pipeline中具体的活动(Activity,比如copy)访问Linked Services, 然后从Source中获取数据,写入Sink中。: 与外部资源的连接。Dataset。原创 2023-02-21 09:05:59 · 1180 阅读 · 0 评论 -
【Azure 架构师学习笔记】-Azure Logic Apps(7)- 自定义Logic Apps 调度
在稍微了解Logic Apps的使用之后,需要开始考虑如何调度起来。在Logic Apps里面,可以使用“重复”这个触发器来实现,毕竟调度实际上来说就是重复做,否则一次性的操作没必要进行调度。直接指定一个时间即可。原创 2023-02-17 08:52:17 · 472 阅读 · 0 评论 -
【Azure 架构师学习笔记】-Azure Logic Apps(6)- Logic Apps调用ADF
Logic Apps 和 ADF 的搭配使用是常见的组合,它们可以互相弥补各自的不足和发挥各自的长处。从ADF调用Logic Apps, 因为ADF 没有内置的activity,所以往往需要使用其他的如web, http等activities来调用。而从Logic Apps调用ADF 则相对简单,因为它有内置的connector。下面来演示一下如何用Logic Apps触发ADF 的pipeline。原创 2023-02-14 09:29:35 · 568 阅读 · 0 评论 -
【Azure 架构师学习笔记】-Azure Logic Apps(5)- 标准和使用量类型的区别
在做实验的过程中,发现使用“使用量”(Consumption)类型会出现很多问题,而且有很多功能都找不到,后来对比一下官网的配置才发现当时为了省钱,使用了使用量类型。为了能继续后面的实现和学习,尝试使用标准(standard)类型,不过如下图所示,价格非常贵,所以在后续会只在截图时才创建,平时删除。原创 2023-02-01 09:11:07 · 431 阅读 · 0 评论 -
【Azure 架构师学习笔记】-Azure Logic Apps(4)-演示2
上文做了简单的演示,这一文将开始较为详细的演示如何用Azure Logic Apps来删除自定义条件下的存储帐户上的文件。原创 2023-01-13 09:04:52 · 664 阅读 · 1 评论 -
【Azure 架构师学习笔记】-Azure Logic Apps(3)-演示1
前面两篇文章大概介绍了一些理论知识,但是为用而学才是最重要的,所以接下来做一个非常简单的演示,用Logic App删除Storage account上面的文件。原创 2023-01-06 09:14:20 · 715 阅读 · 1 评论 -
【Azure 架构师学习笔记】-Azure Logic Apps(2)-组件介绍
Logic Apps 包含了一系列的组件用来实现集成功能。但是最主要的是3部分:Connectors, triggers, 和actions。它们用于构建起整个Logic app的应用。原创 2022-12-27 17:33:37 · 783 阅读 · 0 评论 -
【Azure 架构师学习笔记】-Azure Logic Apps(1)-简介
简介Azure Logic Apps原创 2022-12-16 15:04:53 · 992 阅读 · 0 评论