AZ 305学习笔记

Azure CycleCloud

是管理 HPC 工作负载的最简单方法

防火墙策略

• 将所有全局配置放在父策略中。注意：可以在层次结构中创建策略
• 父策略必须与子策略位于同一区域
• 您可以创建父/全局策略，适用于所有/多个防火墙实例的规则。
• 然后您创建一个从父级继承的子策略，请注意父级中的规则更改会立即出现在子级中。
• 子策略与防火墙关联，并将父策略和子策略中的配置/规则立即应用于防火墙

数据块 Azure Databricks

• 是一个针对微软 Azure 云服务平台优化的数据分析平台。Azure 数据砖提供三种环境来开发数据密集型应用程序：数据砖 SQL、数据砖数据科学与工程和数据砖机器学习。

数据块 SQL

Databricks SQL 为希望在其数据湖上运行 SQL 查询、创建多种可视化类型以从不同角度浏览查询结果以及构建和共享仪表板的分析师提供了一个易于使用的平台。

数据块数据科学

提供了一个交互式工作区，可实现数据工程师、数据科学家和机器学习工程师之间的协作。对于大数据管道，数据（原始或结构化）通过 Azure 数据工厂分批引入 Azure，或使用 Apache Kafka、事件中心或 IoT 中心近乎实时地进行流式处理。此数据位于数据湖中，用于长期持久存储、Azure Blob 存储或 Azure 数据湖存储。作为分析工作流的一部分，请使用 Azure 数据砖从多个数据源读取数据，并使用 Spark 将其转化为突破性的见解。

数据块机器学习

是一个集成的端到端机器学习环境，其中包含用于实验跟踪、模型训练、特征开发和管理以及特征和模型服务的托管服务。

REST 接口或命令行界面

使用 Azure 数据砖工作区创建 API 使用与“标准”工作区完全相同的参数重新创建工作区，并将属性指定为“高级”。若要使用 API，必须向 Azure AD 注册客户端应用程序并获取访问令牌。

Azure resource locks

作为管理员，您可以锁定订阅、资源组或资源，以防止组织中的其他用户意外删除或修改关键资源。 锁定会覆盖用户可能拥有的任何权限。

接口管理Azure API management

https://learn.microsoft.com/en-us/azure/api-management/api-management-key-concepts
Azure API 管理是一个混合的多云管理平台，适用于跨所有环境的 API

Azure API 管理可帮助客户应对以下挑战：

• 从 API 使用者那里抽象出后端架构的多样性和复杂性
• 将 Azure 内外托管的服务安全地公开为 API
• 保护、加速和观察 API
• 支持内部和外部用户发现和使用 API

接口管理组件

Azure API管理由API网关、管理平面和开发人员门户组成。默认情况下，这些组件由Azure托管并完全管理。API管理可用于不同容量和功能的不同层。

接口网关

来自客户端应用程序的所有请求首先到达API网关，然后API网关将它们转发到各自的后端服务。API网关充当后端服务的门面，允许API提供者抽象API实现并发展后端体系结构，而不会影响API使用者。网关支持路由、安全性、节流、缓存和可观察性的一致配置。
具体来说，网关：

• 通过接受API调用并将其路由到适当的后端，充当后端服务的门面
• 验证API密钥和其他凭据，如随请求提供的JWT令牌和证书
• 强制实施使用配额和速率限制
• 可选地转换策略语句中指定的请求和响应
• 如果已配置，则缓存响应以提高响应延迟并最小化后端服务的负载
• 发出日志、指标和跟踪以进行监视、报告和故障排除

与服务集成

API管理与许多互补的Azure服务集成，包括：

• Azure密钥库，用于安全保管和管理客户端证书和机密
• Azure Monitor，用于记录、报告和警报管理操作、系统事件和API请求
• 实时指标、端到端跟踪和故障排除的Application Insights
• 用于网络级保护的虚拟网络和应用程序网关
• Azure Active Directory用于开发人员身份验证和请求授权
• 流式事件的事件中心Event Hubs
• 几种常用于在Azure上构建和托管API的Azure计算产品，包括函数、逻辑应用程序、Web应用程序、Service Fabric等。

将 API 管理服务实例配置为使用 OAuth 2.0 授权

https://learn.microsoft.com/en-us/azure/api-management/api-management-howto-oauth2

• 许多 API 支持 OAuth 2.0 以保护 API 并确保只有有效用户才能访问，并且他们只能访问他们有权访问的资源。 要将 Azure API 管理的交互式开发人员控制台与此类 API 一起使用，该服务允许您为 OAuth 2.0 用户授权配置外部提供程序。
• 在开发人员门户的测试控制台中配置OAuth 2.0用户授权，为开发人员获取OAuth 2.0 访问令牌（access token）提供了一种方便的方法。然后，通过API调用将令牌从测试控制台传递到后端。令牌验证必须单独配置-要么使用JWT验证策略，要么在后端服务中配置。

APIM定价层级

https://azure.microsoft.com/zh-cn/pricing/details/api-management/?WT.mc_id=dotnet-13135-bradyg

• 高级，开发人员支持虚拟网络，自托管网关

虚拟网络连接virtual network

https://learn.microsoft.com/en-us/azure/api-management/api-management-using-with-vnet?tabs=stv2

• 外部模式(External)下为 API 管理实例设置 VNet 连接，其中开发人员门户、API 网关和其他 API 管理终结点可从公共 Internet 访问，后端服务位于网络中。
  

内部模式下连接到虚拟网络virtual network in internal mode

• 在此模式下，只能访问你控制的 VNet 中的以下 API 管理终结点。
• 在内部模式下使用 API 管理可以：
  1:通过使用 Azure VPN 连接或 Azure 快速路由，使专用数据中心内托管的 API 可由其外
  2:部的第三方安全地访问。
  3:通过公共网关公开基于云的 API 和本地 API，从而实现混合云方案。
  4:使用单个网关终端节点管理托管在多个地理位置的 API。

Azure Data Lake 数据湖

https://learn.microsoft.com/en-us/azure/data-factory/connector-azure-data-lake-storage?tabs=data-factory
Azure 数据湖存储第 2 代（ADLS 第 2 代）是一组专用于内置于 Azure Blob 存储中的大数据分析的功能。您可以使用它通过文件系统和对象存储范例来与数据进行交互。
使用Azure Data Factory和 Azure Synapse Analytics复制转换数据

使用 Azure Active Directory 凭据直通访问 Azure Data Lake Storage

使用用于登录 Azure Databricks 的相同 Azure Active Directory 标识从 Azure Databricks 群集自动向 Azure Data Lake Storage Gen1 (ADLS Gen1) 和 Azure Data Lake Storage Gen2 (ADLS Gen2) 进行身份验证。
为群集启用 Azure Data Lake Storage 凭据直通后，在该群集上运行的命令可以在 Azure DataLake 存储中读取和写入数据，而无需配置服务主体凭据以访问存储

https://learn.microsoft.com/en-us/azure/databricks/security/credential-passthrough/adls-passthrough

要求

• 数据块定价（Databricks）高级计划 ：SKU Preniumn （高级）云存储访问和凭证直通 （Credential passthrough）功能都需要高级计划。
• Azure 数据湖存储第 1 代或第 2 代存储帐户。Azure 数据湖存储第 2 代存储帐户必须使用分层命名空间才能使用 Azure 数据湖存储凭据传递。
• 正确配置了对 Azure 数据湖存储的用户权限。Azure 数据砖管理员需要确保用户具有正确的角色（例如，存储 Blob 数据参与者），以读取和写入存储在 Azure 数据湖存储中的数据。
• 不能将配置有 ADLS 凭据（例如，服务主体凭据）的群集与凭据直通结合使用。

如果您所在的防火墙未配置为允许Azure Active Directory流量，则无法使用Azure Active Directory凭据对Azure Data Lake Storage进行身份验证。Azure防火墙默认阻止Active Directory访问。要允许访问，请配置AzureActiveDirectory服务标签。您可以在Azure IP范围和服务标签JSON文件中的AzureActiveDirectory标签下找到网络虚拟设备的等效信息

Azure 网络观察程序

https://learn.microsoft.com/en-us/azure/network-watcher/network-watcher-monitoring-overview

• Azure 网络观察程序提供用于监视、诊断、查看指标以及启用或禁用 Azure 虚拟网络中资源的日志的工具。网络观察程序旨在监视和修复 IaaS（基础结构即服务）产品的网络运行状况，其中包括虚拟机、虚拟网络、应用程序网关、负载均衡器等。
• IP 流验证功能使您能够指定源和目标 IPv4 地址、端口、协议（TCP 或 UDP）和流量方向（入站或出站）。
• IP 流验证，测试通信，并通知您连接是成功还是失败。如果连接失败，IP 流验证会告诉您允许或拒绝通信的安全规则，以便您可以解决问题。

Azure 网络观察程序中的 IP 流验证

https://learn.microsoft.com/en-us/azure/network-watcher/network-watcher-ip-flow-verify-overview
https://learn.microsoft.com/en-us/azure/network-watcher/diagnose-vm-network-traffic-filtering-problem

• 默认情况下，创建 VM 时，Azure 会允许和拒绝进出 VM 的网络流量。以后可能会重写 Azure 的默认值，允许或拒绝其他类型的流量。
• 在计划运行 IP 流验证的所有区域中创建网络观察程序实例。网络观察程序是一项区域性服务，只能针对同一区域中的资源运行。使用的实例不会影响 IP 流验证的结果，因为仍会返回与 NIC 或子网关联的任何路由。

Azure Data Factory 数据工厂

• 数据工厂解释：大数据需要可以启用协调和操作过程以将这些巨大的原始数据存储优化为可操作的业务见解的服务。 Azure 数据工厂是为这些复杂的混合提取-转换-加载 (ETL)、提取-加载-转换 (ELT) 和数据集成项目而构建的托管云服务。
• 服务器安装自托管集成
• Azure Data Factory 可以创建和计划数据驱动型工作，也就是 Pineline，从不同的数据源（如：Azuer Storage，File， SQL DataBase，Azure Data Lake等）中提取数据，进行加工处理，进行复杂计算后，将这些有价值的数据可以归档，存储到不同的目标源（如：Azuer Storage，File， SQL DataBase，Azure Data Lake等）

Azure 数据工厂由以下关键组件组成。

管道Pipelines
活动Activities
数据Datasets
链接服务Linked services
数据流Data Flows
集成运行时Integration Runtimes

这些组件协同工作以提供一个平台，您可以在该平台上编写数据驱动的工作流，其中包含移动和转换数据的步骤

将本地 SSIS 工作负荷迁移到 ADF 或突触管道Synapse Pipelines中的 SSIS

https://learn.microsoft.com/en-us/azure/data-factory/scenario-ssis-migration-overview

• 将数据库工作负荷从本地的 SQL Server 迁移到 Azure 数据库服务（即 Azure SQL 数据库或 Azure SQL 托管实例）时，作为主要增值服务之一的 SQL Server 集成服务 （SSIS） 上的 ETL 工作负荷也需要迁移。
• Azure 数据工厂 (ADF) 或 Synapse Pipelines 中的 Azure-SSIS 集成运行时 (IR) 支持运行 SSIS 包。 预配 Azure-SSIS IR 后，您可以使用熟悉的工具（例如 SQL Server Data Tools (SSDT)/SQL Server Management Studio (SSMS)）和命令行实用程序（例如 dtinstall/dtutil/dtexec）来部署和部署 在 Azure 中运行你的包。

Azure Synapse Analytics

• Azure Synapse Analytics 是一种无限制的分析服务，它将数据集成、企业数据仓库和大数据分析结合在一起。借助它可使用无服务器或专用选项，根据自己的需求大规模地查询数据。Azure Synapse 将这些领域紧密结合，以统一的体验引入、探索、准备、转换、管理和提供数据服务，满足即时 BI 和机器学习的需求。
• 无限规模: 极快速地跨数据仓库和大数据分析系统提供从所有数据中获取的见解。
• 深入的见解: 提高从所有数据中发现见解的能力，并将机器学习模型应用于所有智能应用。
• 统一体验 :通过开发端到端分析解决方案的统一体验，显著缩短项目开发时间。
• 聚合分析: 通过 Azure Synapse Link 消除数据障碍并针对操作数据和商业应用程序数据执行分析，无数据移动
• 出色的安全性: 使用市场上非常先进的安全和隐私功能（例如列级和行级安全，以及动态数据掩码）保护数据。

Azure 管理组 management groups

https://learn.microsoft.com/en-us/azure/governance/management-groups/overview

如果组织有多个 Azure 订阅，则可能需要一种方法来有效管理这些订阅的访问、策略和符合性。管理组在订阅之上提供治理范围。将订阅组织到管理组中，应用治理条件通过继承级联到所有关联的订阅。

管理组为你提供大规模的企业级管理，无论你可能拥有哪种类型的订阅。但是，单个管理组中的所有订阅都必须是在同一个活动目录 （Azure AD） 的租户。

例如，可以将策略应用于管理组，以限制可用于创建虚拟机 （VM） 的区域。此策略将应用于所有嵌套管理组、订阅和资源，并且仅允许在授权区域中创建 VM。

导入和导出数据

有多种方法可以将数据导入和导出到Microsoft Dataverse。您可以使用数据流、Power Query、Azure Synapse链接、Azure数据工厂、Azure逻辑应用程序和Power Automate。

使用Azure Data Factory导入和导出数据

数据工厂是一种数据集成服务，它提供低代码或无代码方法，用于在可视化环境中或通过编写自己的代码来构造提取、转换和加载 （ETL） 过程。

借助数据工厂，可以使用 90 多个本机构建且免维护的连接器直观地集成 Dataverse 和其他数据源。

除了将数据引入Dataverse之外，data Factory还可以用于使用Databricks准备、转换和丰富数据，并将数据移动到Azure Synapse Analytics中。

Azure Batch 批处理

• 使用Azure Batch在Azure中高效运行大规模并行和高性能计算（HPC）批处理作业。Azure Batch创建并管理计算节点（虚拟机）池，安装要运行的应用程序，并计划要在节点上运行的作业。没有要安装、管理或扩展的群集或作业调度程序软件。相反，您可以使用批处理API和工具、命令行脚本或Azure门户来配置、管理和监视作业。
• 开发人员可以使用Batch作为平台服务来构建需要大规模执行的SaaS应用程序或客户端应用程序。例如，您可以使用Batch构建一个服务来为金融服务公司运行蒙特卡罗风险模拟，或者构建一个处理许多图像的服务。
• 使用Batch没有额外费用。您只需支付所消耗的底层资源，例如虚拟机、存储和网络。
• 有关Azure中Batch和其他HPC解决方案选项的比较，请参阅Azure上的高性能计算（HPC）。
• 可以引入 Batch 的一些本质并行工作负载示例：：
  1:使用蒙特卡罗模拟进行财务风险建模
  2:VFX和3D图像渲染
  3:图像分析和处理
  4:媒体转码
  5:遗传序列分析
  6:光学字符识别（OCR）
  7:数据接收、处理和ETL操作
  8:软件测试执行

创建任务以在 Batch 计算节点上准备和完成作业

https://learn.microsoft.com/en-us/azure/batch/batch-job-prep-release

Azure批处理作业通常需要在执行其任务之前进行某种形式的设置。当其任务完成时，还可能需要进行作业后维护。例如，您可能需要将常见任务输入数据下载到计算节点，或在作业完成后将任务输出数据上载到Azure存储。您可以使用作业准备job preparation和作业发布job release 任务来执行这些操作。

作业准备和作业发布

• 在作业的任务运行之前，作业准备任务将在计划运行至少一个任务的所有计算节点上运行。作业完成后，作业发布任务将在池中执行至少一个任务的每个节点上运行。与普通的批处理任务一样，您可以指定运行作业准备或发布任务时要调用的命令行。
• 作业准备和发布任务提供了熟悉的批处理任务功能，如文件下载（资源文件）、提升执行、自定义环境变量、最大执行持续时间、重试次数和文件保留时间。
• 在以下部分中，您将学习如何使用Batch.NET库中的JobPreparationTask和JobReleaseTask类。

并发运行任务以最大限度地利用 Batch 计算节点

https://learn.microsoft.com/en-us/azure/batch/batch-parallel-node-tasks#enable-parallel-task-execution

• 启用并行任务执行parallel task execution
• 您可以在池级别为并行任务执行配置计算节点。使用Batch.NET库设置CloudPool。创建池时的TaskSlots PerNode属性。如果您正在使用Batch REST API，请在创建池期间在请求正文中设置taskSlotsPerNode元素。
• 只能在池创建时设置元素和“任务槽”“属性。创建池后，无法修改它们

服务结构Azure Service Fabric

https://azure.microsoft.com/en-us/products/service-fabric/#overview

• 构建应用程序和业务逻辑，并让 Azure 解决可靠性、可伸缩性、管理和延迟等硬分布式系统问题。服务结构是一个开源项目，它为核心 Azure 基础结构以及其他微软服务提供支持，例如 Skype 商业版、Intune、Azure 事件中心、Azure 数据工厂、Azure Cosmos DB、Azure SQL 数据库、Dynamics 365, and Cortana。Azure Service Fabric 旨在提供云规模的高可用性和持久性服务，它本质上了解应用程序的可用基础结构和资源需求，从而实现自动缩放、滚动升级以及在发生故障时进行自我修复。
• 从各种高效的编程模型和语言（包括 .NET Core 2.0、C# 和 Java）中进行选择，以构建微服务和基于容器的应用程序。在 Azure 中部署服务结构群集或使用 Azure 服务结构网格 - 完全托管的微服务平台
• 简化微服务开发和应用生命周期管理
• 可靠地扩展和编排容器和微服务
• 数据感知平台，适用于具有状态容器或微服务的低延迟、高吞吐量工作负载
• 支持在 Azure、本地或其他云中运行 Windows/Linux
• 可扩展到数千台机器

Azure 循环云CycleCloud

https://learn.microsoft.com/en-us/azure/cyclecloud/overview?view=cyclecloud-8

• Azure CycleCloud是一个企业级友好工具，用于协调和管理Azure上的高性能计算（HPC）环境。使用CycleCloud，用户可以为HPC系统配置基础设施，部署熟悉的HPC调度器，并自动扩展基础设施以在任何规模高效运行作业。通过CycleCloud，用户可以创建不同类型的文件系统，并将其装载到计算集群节点，以支持HPC工作负载。
• Azure CycleCloud面向希望部署HPC环境并考虑特定计划程序的HPC管理员和用户，支持现成的常用计划程序，如Slurm、PBSPro、LSF、Grid Engine和HT Condor。CycleCloud是Azure Batch的姊妹产品，它在Azure上提供调度程序作为服务。

Web API

https://learn.microsoft.com/lb-lu/azure/architecture/multitenant-identity/web-api

• 委托访问使用发送到 Web API 的不记名令牌包含用户身份。 Web Apl 根据用户身份做出授权决策

Azure 应用服务环境 App Service Environment

https://learn.microsoft.com/zh-cn/azure/app-service/environment/overview

• 应用服务环境是一项 Azure 应用服务功能，可提供完全隔离和专用的环境，以便高度安全地运行应用服务应用
• 应用服务环境可以托管：
  1：Windows Web 应用
  2：Linux Web 应用
  3：Docker 容器（Windows 和 Linux）
  4：函数
  5：逻辑应用（标准）
• 应用服务环境适用于有以下要求的应用程序工作负荷：
  1：大规模。
  2：隔离和安全网络访问。
  3：高内存利用率。
  4：每秒请求数 (RPS) 高。 可以在单个 Azure 区域或跨多个 Azure 区域创建多个应用服务环境。 鉴于这种灵活性，应用服务环境非常适合具有高 RPS 需求的水平缩放无状态应用程序。