aws lakeformation跨账号共享数据的两种方式和相关配置

zhaojiew10

已于 2024-05-27 20:26:00 修改

阅读量1k

点赞数 41

分类专栏： AWS 文章标签： aws 云计算大数据

于 2024-05-27 20:24:43 首次发布

本文链接：https://blog.csdn.net/sinat_41567654/article/details/139246689

版权

AWS 专栏收录该内容

72 篇文章 4 订阅

订阅专栏

lakeformation授权方式分为

基于tag的授权
基于命名资源的授权

先决条件

跨账号共享数据的先决条件（命名资源和tag授权都需要）

分两种情况

如果账户中没有glue data catalog资源策略，则LakeFormation跨账户授予将照常进行

如果存在glue data catalog基于资源策略，则需要glue如下基于资源策略，授权RAM服务共享账号下的所有资源

{
      "Effect": "Allow",
      "Action": [
      	"glue:ShareResource"
      ],
      "Principal": {
        "Service":"ram.amazonaws.com"
      },
      "Resource": [
          "arn:aws:glue:region:account-id:table/*/*",
          "arn:aws:glue:region:account-id:database/*",
          "arn:aws:glue:region:account-id:catalog"
      ]
}

如果同时使用tag和命名资源授权，则需要通过命令行附加glue基于资源的策略，注意--enable-hybrid参数

aws glue put-resource-policy --policy-in-json glue-resource-policy --enable-hybrid TRUE

命名资源的授权方式

需要撤销database和tables中授权条目IAMAllowedPrincipals的权限

关闭账号级别的setting设置（需要额外的PutDataLakeSettings权限）

向消费者账户授权，可以选择账号或者组织
在这里插入图片描述

选择指定database的所有表和所有权限，如果出现下面的报错，表明从报错信息来看，是由于 A 账号的 database 的 “Use only IAM access control for new tables in this database” 并未清除。

Error granting catalog permissions to ARNs: 797181602929. Unexpected error has occurred trying to grant permissions. Invalid Grant. Please remove Create Table Default Permissions from the database.

授权所有表之后，授权条目没有database但是能看到是为什么？

可以授予对单个表的权限，也可以通过一次授予操作来授予对数据库中所有表的权限。如果您授予对数据库中所有表的权限，则将隐式授予对数据库的 DESCRIBE 权限。然后，数据库将显示在控制台的数据库页面上

如果在此之前没有关闭setting配置，则会出现授权失败的问题,需要关闭表的setting配置
在这里插入图片描述

Grant permissions failed
Error granting catalog permissions to ARNs: arn:aws-cn:organizations::362115975032:organization/o-vut99korpx. Unexpected error has occurred trying to grant permissions. Invalid Grant. Please remove Create Table Default Permissions from the database.

如果该数据库已经和IAM_ALLOWED_PRINCIPALS关联(没有撤销)，则会出现以下报错

Grant permissions failed
Error granting catalog permissions to ARNs: arn:aws-cn:organizations::362115975032:organization/o-vut99korpx. Unexpected error has occurred trying to grant permissions. Invalid Grant. Please revoke permission(s) for IAM_ALLOWED_PRINCIPALS on the database.

如果输出arn或账号后没有回车会出现没有选中principal的问题

Grant permissions failed
No principals selected. Please select a principal to grant permissions to.

授权成功后查看table权限出现消费者账号信息
在这里插入图片描述
在消费者账号的lakeformation控制台可以看到以下提示

Pending Resource Shares Alert
You have 3 pending resource share invitation(s) from Amazon Resource Access Manager (RAM). Open the RAM console  to view these invitations. For more information, see Accepting RAM invitations .

点击跳转接受请求（中国区控制台直接点击会跳转到美东区），手动跳转到Resource Access Manager服务

搜索之前分享的资源

在这里插入图片描述
最终的共享资源类型

在这里插入图片描述

在消费者账户的glue控制台已经能看到table了
在这里插入图片描述
此时已经能够在消费者账户找到表，但是athena查询无法找到database

在消费者账户创建database的资源链接（别名链接）

在这里插入图片描述
在athena中能够找到database，执行查询报错

在这里插入图片描述
忘记在lakeforamtion中注册location，此时尽管消费者账户能够通过lakeformation获取临时凭证，但是找不到s3数据

在这里插入图片描述
注册完毕后查询成功

在这里插入图片描述

注意事项

如果用户不是lakeformation管理员，则

单纯指定账户并不能在具体的user下看到表，仅仅是创建了RAM
因此需要在具体的user授权，才能看到database（此时复用了之前的RAM，不需要再接受了）

向外部账户或组织授予权限时，必须包括可授予的权限选项。只有外部账户中的数据湖管理员才能访问共享资源，直到管理员向外部账户中的其他主体授予对共享资源的权限。

将属于另一个 Amazon 账户的数据目录资源与账户共享后，作为数据湖管理员，可以向账户中的其他主体授予对共享资源的权限。但是，不能向其他 Amazon 账户或组织授予对该资源的权限

基于LF-tag的授权方式

使用 LF-TBAC 用于以下使用案例：

有大量的表和主体，数据湖管理员必须授予访问权限
想根据本体对数据进行分类并根据分类授予权限
数据湖管理员希望以松散耦合的方式动态分配权限

数据湖管理员具有隐式 Lake Formation 权限，可以创建、更新和删除 LF-Tag，将 LF-Tag 分配给资源，以及向主体授予 LF-Tag 权限。

基于标记的访问控制 – 使用此方法可以将一个或多个 LF 标记分配给数据目录数据库、表和列，并将对一个或多个 LF 标记的权限授予主体

LF tag支持跨账号共享

Currently, the LF-TBAC method supports granting cross-account permissions to IAM principals, Amazon Web Services accounts, organizations, and organizational units (OUs).

database和table都有名为LF tag的标签，在这里统一管理
在这里插入图片描述
可以在资源上（database和table）添加LF tag

table默认继承database
column默认继承table

授权B账号可以操作的LF tag

在这里插入图片描述
在B账号直接查表，正常没有问题，但是表上没有命名方式的授权条目，表示授权是通过LF tag进行的

很明显，LF tag使用上要比命名标签更加简单

可以通过命令查看tag policy的结果

注意，必须是数据湖管理源才有权限，否则结果为空

$ aws lakeformation list-permissions --resource-type LF_TAG_POLICY

{
    "PrincipalResourcePermissions": [
        {
            "Principal": {
                "DataLakePrincipalIdentifier": "4xxxxxxxx6"
            },
            "Resource": {
                "LFTagPolicy": {
                    "CatalogId": "037xxxxxxx284",
                    "ResourceType": "DATABASE",
                    "Expression": [
                        {
                            "TagKey": "testk",
                            "TagValues": [
                                "testv"
                            ]
                        }
                    ]
                }
            },
            "Permissions": [
                "ALTER",
                "CREATE_TABLE",
                "DESCRIBE"
            ],
            "PermissionsWithGrantOption": [],
            "AdditionalDetails": {
                "ResourceShare": [
                    "arn:aws-cn:ram:cn-north-1:03xxxxxxxxx84:resource-share/f73648ea-5c1c-47f6-a63b-db1fadb23984"
                ]
            }
        },

此外，在控制台也能看到对应的授权权限

在这里插入图片描述