hdfs 多租户_06585.16.1如何使用CM设置HDFS目录配额

本文介绍了在Cloudera Manager(CM)上为HDFS目录设置Name Quotas和Space Quotas的方法,以实现多租户环境下的配额管理。通过案例展示了如何创建目录并配置配额,以及配额限制对文件和目录数量、空间大小的影响。测试表明,Name Quotas限制文件和目录总数,而Space Quotas限制总空间,两者独立且可同时设置。
摘要由CSDN通过智能技术生成
温馨提示:如果使用电脑查看图片不清晰,可以使用手机打开文章单击文中的图片放大查看高清原图。

Fayson的github:

https://github.com/fayson/cdhproject

提示:代码块部分可以左右滑动查看噢

1

文档编写目的

对于多租户共同使用的Hadoop平台,HDFS配额设置非常重要。如果没有配额管理,很容易将所有空间用完导致其他租户无法正常存取数据,严重的可能导致HDFS集群宕掉。HDFS的配额是针对目录而不是租户(用户),所以在管理上最好能让租户只能操作某一类目录,然后对这一类目录进行配额设置。接下来Fayson主要介绍如何在Cloudera Manager上对指定HDFS目录设置配额。

  • 测试环境:

1.RedHat7.2

2.CDH5.16.1

2

Hadoop配额说明

Hadoop提供两种配额模式Name Quotas和Space Quotas。Name Quotas和Space Quotas是相互独立的(即可以同时设置两种配额也可以只设置其中一个,互不冲突)。

Name Quotas说明:

主要限制指定HDFS路径下文件和目录数目(含父目录),但不会对该目录下文件大小做限制。

评论
添加红包

请填写红包祝福语或标题

红包个数最小为10个

红包金额最低5元

当前余额3.43前往充值 >
需支付:10.00
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明:

1.余额是钱包充值的虚拟货币,按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载,可以购买VIP、付费专栏及课程。

余额充值