![](https://img-blog.csdnimg.cn/20201014180756927.png?x-oss-process=image/resize,m_fixed,h_64,w_64)
Hdfs
文章平均质量分 76
rainysia
这个作者很懒,什么都没留下…
展开
-
HBase落地到HDFS后磁盘空间急剧增长的解决.
场景用flume+hbase thrift朝HBase插入了大约2亿行服务器的日志数据, 在用hbase org.apache.hadoop.hbase.mapreduce.Export 的时候, 发现出现了大量的ScannerTimeoutException, 于是ctrl+c取消了落地到HDFS. HDFS 一共有 3 个datanode. 每个节点有2T的磁盘空间$bin/hbase o原创 2016-04-01 14:58:44 · 7458 阅读 · 1 评论 -
HUE配置zookeeper,HDFS报错Failed to access filesystem root解决
在运行HUE的时候, webhdfs进入总会报错, Failed to access filesystem root我是在集群的三个server(namenode, node1, node2)里面,选的压力最小的一个namenode跑的docker的HUE版本. 版本号3.9ssh namenode `进入namenode server`docker exec -ti hue_test ba原创 2016-04-12 18:00:01 · 6718 阅读 · 3 评论 -
理解Hadoop HDFS的配额和fs, fsck工具
hadoop 使用HDFS来落地存储hbase的数据, 我们可以通过以下命令来查看HDFS的空间占用大小.hadoop fsck hadoop fs -dushadoop fs -count -q 上述命令在hdfs里面可能存在权限问题, 可以前面加上sudo -u hdfs 来运行以上命令首先让我们看看fsck和fs -dus区别hadoop fsck[root@no翻译 2016-05-02 11:01:02 · 5238 阅读 · 0 评论