如何实现 hadoop 的安全机制

(1)共享 hadoop 集群:
a: 管理人员把开发人员分成了若干个队列,每个队列有一定的资源,每个用户及用户
组只能使用某个队列中指定资源。
b: HDFS 上有各种数据,公用的,私有的,加密的。不用的用户可以访问不同的数据。
(2) HDFS 安全机制
client 获取 namenode 的初始访问认证( 使用 kerberos )后,会获取一个 delegation token,
这个 token 可以作为接下来访问 HDFS 或提交作业的认证。同样,读取 block 也是一样的。
(3) mapreduce 安全机制
所有关于作业的提交或者作业运行状态的追踪均是采用带有 Kerberos 认证的 RPC 实现
的。授权用户提交作业时,JobTracker 会为之生成一个 delegation token,该 token 将被作为
job 的一部分存储到 HDFS 上并通过 RPC 分发给各个 TaskTracker,一旦 job 运行结束,该 token
失效。
(4) DistributedCache 是安全的。
DistribuedCache 分别两种,一种是 shared,可以被所有作业共享,而 private 的只能被
该用户的作业共享。
(5) RPC 安全机制
在 Hadoop RP 中添加了权限认证授权机制。当用户调用 RPC 时,用户的 login name 会
通过 RPC 头部传递给 RPC,之后 RPC 使用 Simple Authentication and Security Layer(SASL)确
定一个权限协议(支持 Kerberos 和 DIGEST-MD5 两种),完成 RPC 授权。

评论
添加红包

请填写红包祝福语或标题

红包个数最小为10个

红包金额最低5元

当前余额3.43前往充值 >
需支付:10.00
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明:

1.余额是钱包充值的虚拟货币,按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载,可以购买VIP、付费专栏及课程。

余额充值