hadoop
文章平均质量分 58
大数据基础
硅谷工具人
一颗么得灵魂的工具人,学废了。
展开
-
Hadoop Namenode节点迁移
尽管之前做了很多准备和测试工作,但是在迁移过程中还是发生了很多意想不到的问题。(1)某个文件夹下日志过于大,170w个文件,拷贝花费了很久。(2)56机器节点做了防火墙等验证发现是关闭的,但是57没看了,结果57上居然有防火墙开着,导致mysql外部链接一直存在着问题。因为这个问题,导致多次重启服务,发现dbveaver一只堵住无法连接。直接早上同事提醒时,才去看了看发现真有防火墙开着。原创 2024-06-17 10:45:02 · 1132 阅读 · 0 评论 -
hive真实表空间大小统计
如果是采用hdfs上传加载的表、或者是flume直接写hdfs的表空间通常看hive的属性是不准确的。原创 2023-03-05 16:28:20 · 2441 阅读 · 0 评论 -
Hadoop Namenode服务监控
Hadoop NameNode监控,以及自启动服务脚本。原创 2023-02-24 14:07:23 · 207 阅读 · 0 评论 -
Hadoop单个节点的磁盘均衡
一般默认都开启了磁盘均衡,但是我这种状况特殊,公司给的初始磁盘大小不一样。我只是试验下,我这种情况能否做数据的分散。看下图,disk10已经91%了,剩余空间88G,但是从磁盘存储的数据来看,还是比较均衡的。如果在两者之差在10G的范围内,那么块分配的方式是轮询。在此节点的所有数据存储的目录中,找一个占用最大的,找一个占用最小的。通过调整以上2个参数,应该就可以达到我们期望的效果了。PLAN_UNDER_PROGRESS 计划进行中。以下参数是配置各个磁盘的均衡阈值的,默认为10G。原创 2022-11-17 12:25:39 · 821 阅读 · 0 评论 -
hadoop日常运维问题汇总
当系统有区块丢失的时候,我们在9870端口这个web页面已经可以看到哪些丢失的区块了。当然用下面命令也可以查看。原创 2022-08-21 14:04:19 · 1135 阅读 · 0 评论 -
查看hdfs上某个表目录下文件的大小
hdfs dfs -du -s -h /user/hive/warehouse/xy_ods.db/ods_test/pk_year=2021/pk_month=2021-12/pk_day=2021-12-30如果需要截取前面的文件大小413.0G,还需要添加截取功能。hdfs dfs -du -s -h /user/hive/warehouse/xy_ods.db/ods_test/p...原创 2022-06-21 19:51:00 · 1107 阅读 · 0 评论