HADOOP
难得糊涂_不解释
这个作者很懒,什么都没留下…
展开
-
hadoop:DataXceiver error processing WRITE_BLOCK operation
datanode 宕机报错2021-04-13 12:08:18,072 ERROR org.apache.hadoop.hdfs.server.datanode.DataNode: 192-168-72-68:50010:DataXceiver error processing WRITE_BLOCK operation src: /192.168.72.118:19956 dst: /192.168.72.68:50010java.io.IOException: Not ready to serv原创 2021-04-13 15:58:12 · 5249 阅读 · 0 评论 -
mapReduce问题Java heap space
19-07-2020 11:33:17 CST INFO - 20/07/19 11:33:17 INFO mapreduce.Job: map 96% reduce 26%19-07-2020 11:33:24 CST INFO - 20/07/19 11:33:24 INFO mapreduce.Job: map 96% reduce 27%19-07-2020 11:33:29 CST INFO - 20/07/19 11:33:29 INFO mapreduce.Job: map 9原创 2020-07-19 15:52:00 · 578 阅读 · 0 评论 -
hadoop设置公共变量空指针问题
记一次疑问:conf.setStrings("name", "");mapReduce在设置公共变量的时候,如果value值为空串,则在map端获取该公共变量的时候,该值取不到为null。原创 2020-07-14 11:21:43 · 142 阅读 · 0 评论 -
hadoop扩容与下线
1、下线退役datanode nodemanagera、下线datanode节点修改 hadoop/etc/hadoop/slaves 文件分发到所有机器在执行datanode下线命令hdfs dfsadmin -refreshNodes检查hdfs dfsadmin -reportyarn node -listDecomissioning标记的即为正在下线的datanode,hadoop集群会尽快的将要下线的datanode数据块复制到其他节点上复制完成之后会变成Decommissi原创 2020-06-28 09:00:44 · 285 阅读 · 0 评论 -
mapreduce的OrcOutputFormat与OrcNewOutputFormat
1.两个orc格式的依赖包不同OrcOutputFormat----org.apache.orc.mapreduce.OrcOutputFormatOrcNewOutputFormat—org.apache.hadoop.hive.ql.io.orc2.schema大小写敏感OrcOutputFormat对于输出的schema大小写敏感OrcNewOutputFormat对于输出的sch...原创 2020-04-19 23:24:27 · 548 阅读 · 0 评论 -
查看hdfs目录下每个目录大小
hadoop fs -du /user/hive/warehouse/ods.db/ | tail -n +2 | sort -r -n | awk '{size=$1/1024;if(size<1024){printf("%10.3f KB\t%s\n",size,$2);}else{size=size/1024;if(size<1024){printf("\033[36m%10.3...原创 2020-03-17 18:50:47 · 1909 阅读 · 0 评论 -
hadoop2.0集群balancer
start-balancer.sh -threshold 5-threshold 默认设置:10,参数取值范围:0-100,参数含义:判断集群是否平衡的目标参数,每一个 datanode 存储使用率和集群总存储使用率的差值都应该小于这个阀值 ,理论上,该参数设置的越小,整个集群就越平衡,但是在线上环境中,hadoop集群在进行balance时,还在并发的进行数据的写入和删除,所以有可能无法到达设...原创 2019-04-14 21:46:54 · 253 阅读 · 0 评论 -
hadoop相关操作
1、查看resourcemanager 状态yarn rmadmin -getServiceState ycluster-resourcemanager12、resourcemanager切换主从yarn rmadmin -transitionToActive --forcemanual ycluster-resourcemanager23、配置刷新yarn rmadmin -refre...原创 2019-05-13 18:55:57 · 150 阅读 · 0 评论 -
hadoop迁移
迁移namenode服务器步骤一、包含服务1、NameNode2、resourceManager3、JournalNode4、zookeeper5、ZKFC二、前提检查1、检查新服务器用户名是否创建,hadoop2、检查防火墙(到hadoop 各节点,flume、spark集群、其他)3、确认所有配置是否是通过hostname配置三、步骤1、迁移zookeeper1>...原创 2019-05-26 14:21:50 · 541 阅读 · 0 评论