hdfs
Aying_seeya
专研大数据、Java ...
展开
-
hdfs查看目录文件的大小 hdfs dfs -du -s -h /
1.hdfs dfs -du -h 查看各级文件大小会出现两列数字,第一列为单个文件实际大小,第二列为备份大小。2.hdfs dfs -ls -h也可以查看文件大小 但是当子文件目录过多时 统计的大小为03.命令 hdfs dfs -du -s -h /user/hive/warehouse/结果 97.1 G 291.3 G /user/hive/warehouse第一列标示该目录下总文件大小第二列标示该目录下所有文件在集群上的总存储大小和你的副本数相关,我的副本数是3 ,所以第二列的原创 2020-11-23 10:29:08 · 27289 阅读 · 0 评论 -
Access denied for user root. Superuser privilege is required...
在使用 cloudera manager 安装 hdfs 的过程中,报错 using /usr/java/jdk1.7.0_67/ as JAVA_HOME using 5 as CDH_VERSION using /opt/cm-5.7.0/run/cloudera-scm-agent/process/25-hdfs-NAMENODE-createtmp as CONF_DIR using as SECURE_USER using as SECURE_GROUP unlimited Directory原创 2020-11-02 13:03:25 · 3196 阅读 · 0 评论 -
hdfs默认副本策略
机架感知(副本存储节点选择)1. 官方ip地址机架感知说明http://hadoop.apache.org/docs/r2.7.2/hadoop-project-dist/hadoop-hdfs/HdfsDesign.html#Data_ReplicationFor the common case, when the replication factor is three, HDFS’s ...原创 2019-11-23 11:52:13 · 384 阅读 · 0 评论