![](https://img-blog.csdnimg.cn/20201014180756928.png?x-oss-process=image/resize,m_fixed,h_64,w_64)
HDFS
文章平均质量分 69
HDFS相关运维
CarbonDioxide12138
我什么都不知道,要学的东西太多了
展开
-
大数据平台运维------HDFS balancer的使用
1. 背景Hadoop的HDFS集群非常容易出现机器与机器之间磁盘利用率不平衡的情况,比如集群中添加新的数据节点。当HDFS出现不平衡状况的时候,将引发很多问题,比如MR程序无法很好地利用本地计算的优势,机器之间无法达到更好的网络带宽使用率,机器磁盘无法利用等等。可见,保证HDFS中的数据平衡是非常重要的。在Hadoop中,包含一个Balancer程序,通过运行这个程序,可以使得HDFS集群达到...原创 2018-03-18 17:07:34 · 1804 阅读 · 1 评论 -
修复HDFS主备节点edits不一致导致的无法进行checkpoint的问题
修复edits文件不一致导致的无法checkpoint问题原创 2023-05-31 11:04:50 · 782 阅读 · 0 评论 -
HDFS、Hive、HBase常用命令整理
对于一个初学者来说,HDFS、Hive、Hbase常用命令比较多,一时间又难以记住,这里做一个小小的整理总结1. Hadoop命令文件浏览,不能递归显示 hadoop fs –ls /[path] 递归显示文件 hadoop fs –lsr /[path] 统计文件大小(-h 人性化显示,GB,MB,KB) hadoop fs –du -h /[path] 只统计文件夹大小 hadoop...原创 2018-03-18 23:09:20 · 994 阅读 · 0 评论