Unity Catalog是databricks的一个数据治理产品,它提供了databricks跨工作区的集中访问控制、审核、血缘关系和数据发现功能。从下面的图可以看出,没有Unity Catalog的databricks是Workspace层各自管理用户,各自存储metastore。有了Unity Catalog之后,可以集中管理不同的Workspace的用户,集中存储metastore。
Unity Catalog Metastore:是为云存储对象而设计。
可以使用Unity Catalog创建Connection,以便访问存储在databricks以外的数据。如:sql server.
Unity Catalog的安全模型基于标准ANSI SQL,允许管理员使用sql对catalog、database(schema)、table和view级别进行授权。
如,以下命令对finance-team用户授予了schema级别mycatalog.myschema创建表的权限。
grant create table on schema mycatalog.myschema to 'finance-team';
通过Unity Catalog可以查看数据的血缘关系。
使用Unity Catalog可以tags和conmment表,方便用户在搜索框内查找数据。
可以在下图中管理哪些workspace可以进入catalog dev。
以下是开启了unity Catalog的workspace界面
以下是没有开启unity Catalog的workspace界面
也可以在Manage account-->Worspaces-->Metastore里查看对应的workspace是否开启了Unity Catalog