hdfs 多租户_hadoop 多租户管理

本文介绍了如何在Hadoop集群上实现多租户管理,包括为新用户创建Linux账户,分配HDFS存储空间,配置用户环境,解决日志权限问题,以及设置资源公平调度。通过这些步骤,确保不同用户可以独立地存储和计算数据,同时避免相互影响。
摘要由CSDN通过智能技术生成

一个hadoop集群上面能有多个用户,每个用户往自己的存储空间存入数据,调用分配的资源进行分布式存储和分布式计算,而互不影响,这难道不是一件很美妙的事情么?

1:  添加新的linux用户   useradd hadoopacl1

2: 给hadoopacl1用户分配hdfs存储空间

hadoop fs -mkdir /hadoopacl1

hadoop fs -chown -R hadoopacl1:hadoopacl1 /hadoopacl1

3:配置用户的 hadoopacl1的用户变量

vi .bashrc

4: 尝试使用 hadoopacl1 用户上传文件

大概是新用户没有往MR日志文件写入的权限

赋予hadoopacl1写入的权限 。

这样的操作并不合理,多个用户的日志混写到一个文件无法区分,应该可以配置用户将MR日志写入到各自的日志文件当中的。

5:尝试跑MapReduce程序。

执行成功!!!

6:给用户分配资源    (hadoop公平调度器)

yarn的元数据和历史执行的数据存放在指

评论
添加红包

请填写红包祝福语或标题

红包个数最小为10个

红包金额最低5元

当前余额3.43前往充值 >
需支付:10.00
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明:

1.余额是钱包充值的虚拟货币,按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载,可以购买VIP、付费专栏及课程。

余额充值