【Azure 架构师学习笔记】- Azure Databricks (6) - 配置Unity Catalog

原创 已于 2024-01-15 09:21:45 修改 · 1.7k 阅读 · 29 ·
CC 4.0 BY-SA版权
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
文章标签：

#azure #Databrikcs

于 2024-01-15 09:21:28 首次发布
本文详细介绍了如何在Azure Databricks中配置Unity Catalog（UC），强调了UC在数据安全管控方面的重要性，包括数据访问控制、审计、血缘和发现。文章通过对比UC启用前后的变化，展示了UC如何集中管理用户、元数据和访问控制。在创建UC的过程中，涉及到授权ADLS Gen2、启用metastore等关键步骤，并提供了详细的配置指导，包括设置存储账户、创建metastore、分配权限等。

本文属于【Azure 架构师学习笔记】系列。
本文属于【Azure Databricks】系列。
接上文 【Azure 架构师学习笔记】- Azure Databricks (5) - Unity Catalog 简介

UC的关键特性

之所以DataBricks要用UC， 很大程度是对安全的管控。从上文可以了解到它的四大特性：

  1. 数据访问控制： 谁可以访问什么数据
  2. 数据访问审计： 收集访问数据的行为
  3. 数据血缘： 收集上游来源和下游消费者
  4. 数据发现： 可用于查询和发现已授权的资产

UC开启前后的变化

这是一个很重要的图，如果不是从0开始使用UC 而是迁移，那么很有必要了解前后发生了什么事。

从下图可以看出，UC 把User/Group management, Metastore, Access controls 从过去单个workspace中提取出来集中管理。workspace只负责计算资源的管理。

在这里插入图片描述

这种变化会使得原有在单个workspace上的配置迁移到UC 内部，这个过程会出现很多问题和改动， 所以要有心理准备在迁移过程中会花费不少时间。

接下来我们先搭建环境，以便后续重现很多问题。

创建UC

最低0.47元/天 解锁文章
Azure Databricks
zhixingheyi_tian的博客
02-07 382
What is Databricks and Azure Databricks? Databricks is developed by the founders of Apache Spark and is an end-to end (from development to production) web-based analytics platform that makes it easy to combine Big Data, Data Science and Apacke Spark. n 201
使用Databricks Unity Catalog函数作为LangChain工具：深入探讨和实践指南
mmlihaio的博客
09-23 850
Databricks Unity Catalog是一个统一的治理层，为Databricks Lakehouse平台提供细粒度的安全性和治理。它允许用户创建和管理SQL或Python函数，这些函数可以在Databricks环境中安全地执行。本文介绍了如何将Databricks Unity Catalog函数作为LangChain工具使用，这为AI应用开发提供了强大的扩展能力。通过结合UC函数的安全性和LangChain的灵活性，开发者可以创建更加智能和功能丰富的应用。Databricks官方文档。
【Azure 架构师学习笔记】- Azure Databricks (7) --Unity Catalog(UC) 基本概念和组件
MVP黄钊吉（發糞塗牆）
02-19 1882
在以前的Databricks中，主要由Workspace和集群、SQL Warehouse组成， 这两年Databricks公司推出了Unity Catalog（UC）之后，整个Databricks架构都有了不一样的改变。它在Workspace之上添加了一层UC， 包含了用户管理（User Management）和元存储（Metastore）。
【Azure 架构师学习笔记】- Azure Databricks (5) - Unity Catalog 简介
MVP黄钊吉（發糞塗牆）
01-08 1992
DataBricks Unity Catalog（UC）是一个统一的对数据资产治理的解决方案。它对所有数资产进行集中管理，搭配一系列数据治理框架和扩展的审计功能。还有一种描述：UC 是对data lake上的数据展示进行细粒度数据治理的解决方案。它帮助简化安全性，同时对数据治理提供一个集中区域进行统一的控制访问和审计访问。
Azure Databricks + MLflow 机器学习生命周期完整流程实践
最新发布
yuweibing78的博客
09-01 947
我们完成了在 Azure Databricks 上使用 MLflow 的机器学习全流程实战：环境搭建： 从创建Databricks集群和Notebook开始，为项目提供计算资源和开发环境。数据加载与预处理： 获取公开数据集并进行清洗和特征工程，保证数据质量，为模型训练做好准备。模型训练与追踪： 使用 MLflow Tracking 记录实验过程，包括模型的代码、超参数、性能指标，以及输出的artifact（如图表、模型文件）。
Databricks Unity Catalog简介
dilaoshuPN的博客
07-24 948
Unity Catalog是databricks的一个数据治理产品，它提供了databricks跨工作区的集中访问控制、审核、血缘关系和数据发现功能。从下面的图可以看出，没有Unity Catalog的databricks是Workspace层各自管理用户，各自存储metastore。有了Unity Catalog之后，可以集中管理不同的Workspace的用户，集中存储metastore。如，以下命令对finance-team用户授予了schema级别mycatalog.myschema创建表的权限。
【Azure 架构师学习笔记】- Azure Private Endpoint
MVP黄钊吉（發糞塗牆）
03-07 1618
公有云的其中一个特点是默认允许公网访问， 这就对企业环境带来风险，也是很多年前企业对公有云抵触的其中一个原因，现在这类问题已经很少，因为有了很多技术来确保云上的资源被安全地访问。其中Private endpoint（PE）就起到了很重要的作用。云上的某个资源如VM会创建在特定的网络（VNet/Subnet）上， 而其他如Storage Account ， Azure SQL等PaaS服务则没有。如果你需要用VM 来访问这些PaaS资源，VM 就会通过资源的公网IP 来访问。
【Azure 架构师学习笔记】-Azure Synapse -- Link for SQL 实时数据加载
MVP黄钊吉（發糞塗牆）
02-27 1379
Azure Synapse Link for SQL 可以提供从SQL Server或者Azure SQL中接近实时的数据加载。通过这个技术，使用SQL Server/Azure SQL中的新数据能够几乎实时地传送到Synapse（SQL DW）中。然后进行后续的数据分析。这个过程通过change feed技术最小化对Azure SQL/SQL Server的影响。在这个移动过程中，会使用ADLS Gen2 作为暂存，然后再加载到Synapse dedicated pool中。
【Azure 架构师学习笔记】- Azure Databricks (8) --UC架构简介
MVP黄钊吉（發糞塗牆）
02-20 1040
UC 简单来说，就是管理两样东西：用户和元存储。
【Azure 架构师学习笔记】- Azure Databricks (10) -- UC 使用
MVP黄钊吉（發糞塗牆）
02-22 946
本文属于。本文属于【Azure Databricks】系列。接上文中演示了如何配置一个UC。本文在配置的基础上大概演示其使用。
【Azure 架构师学习笔记】- Azure Databricks (1) - 环境搭建
MVP黄钊吉（發糞塗牆）
11-30 2089
Databricks 已经成为了数据科学的必备工具，今时今日你已经很难抛开它来谈大数据，它常用于做复杂的ETL中的T， 数据分析，数据挖掘等，特别适用于做数据建模，机器学习等。那么顺应时代，现在也来看看这个工具的内容。首先要有一个环境，基于Azure 的Databricks简称ADB。托管在Azure 上的Databricks已经被Azure进行了很大的优化， 在搭建时只需要简单的几步即可拥有一个环境，不过要提醒一句ADB的集群并不便宜，用完马上删掉或停止， 否则一晚过百美金就会烧掉。
DataBricks之Unity Catalog Best Practice
★【World Of Moshow 郑锴】★
07-16 1698
本文档提供有关使用 Unity Catalog 和 Delta Shareing 满足数据治理需求的建议。Unity Catalog 是 Databricks 平台数据和 AI 的细化治理解决方案。它通过提供一个集中管理和审核数据访问的位置，来帮助简化数据的安全性和治理。Delta Sharing 是一个安全的数据共享平台，可用于与组织外的用户共享 Azure Databricks 中的数据。它使用 Unity Catalog 来管理和审核共享行为。
【Azure 架构师学习笔记】-Azure Data Factory (3)-触发器详解-翻转窗口
MVP黄钊吉（發糞塗牆）
02-24 624
上文中提到触发器的类型有以下4种，其中第一种【计划】是常用的， 与其他工具/服务类似的方式，这里就只做简单介绍：可以看到这种类型下，都是基于日期形式的选择：还能根据月历来指定具体的停止时间：但是本文重点介绍的是另外一种类型【翻转窗口】。
【Azure 架构师学习笔记】- Azure Service Endpoint 和 Azure Private Endpoint
MVP黄钊吉（發糞塗牆）
03-12 910
前面两章【Azure 架构师学习笔记】- Azure Private Endpoint和【Azure 架构师学习笔记】- Azure Service Endpoint分别介绍了PE 和SE的内容。那么这两者的区别在哪里，什么时候用？通过网上搜集资料和测试，总结了以下内容。
databricks~Unity Catalog
qq_41758289的博客
05-24 421
databricks unity catalog 学习笔记
使用Databricks Unity Catalog (UC)函数作为LangChain工具
qq_29929123的博客
09-15 1077
通过将Databricks Unity Catalog函数与LangChain集成，我们可以创建强大的AI应用，利用Databricks的计算能力和安全性。这种方法特别适合需要执行复杂计算或访问特定数据的场景。Databricks Unity Catalog文档LangChain文档Databricks机器学习指南。
强力推荐：Unity Catalog，数据与AI的全面整合解决方案！
gitblog_00056的博客
06-15 797
在现代的数据和人工智能领域，信息的高效管理和无缝流通成为了不可或缺的一环。正因如此，我们向您隆重介绍——**Unity Catalog**，一款前所未有的开放且高度兼容的多模态数据与AI目录工具。 ## 1. 项目介绍 Unity Catalog以前所未有的开放性与互操作性，重塑了数据与AI资产的管理方式。它不仅支持多种格式（如Delta Lake、Apache Iceberg、Parquet...
Databricks的Unity Catalog和Delta Sharing的应用场景和核心优势与应用案例以及实施步骤源代码
weixin_30777913的博客
04-28 1736
Unity Catalog与Delta Sharing构成了Databricks数据生态的“治理+共享”双引擎：前者通过层级化模型实现细粒度管控与跨环境隔离，后者以开放协议打破数据孤岛。两者协同，既能满足GDPR、CCPA等合规要求，又能在保证安全的前提下最大化数据价值流动，是企业构建现代数据架构的核心工具。的安全共享机制，代码可直接在Databricks环境中运行（需替换实际存储路径和权限组名称）。是两大核心组件，共同构建了安全、灵活的数据治理与共享体系。目录），确保开发与生产环境隔离。
使用 Azure Databricks 做ETL
zenglaoshi的博客
02-25 1908
使用 Azure Databricks 做ETL 本文使用 Azure Databricks 执行 ETL（提取、转换和加载数据）操作。将数据从 Azure Data Lake Storage Gen2 提取到 Azure Databricks 中，在 Azure Databricks 中对数据运行转换操作，然后将转换的数据加载到 Azure Synapse Analytics 中。 本文的步骤使用 Azure Databricks 的 Azure Synapse 连接器将数据传输到 Azure Da.
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值