hadoop
sx_1706
这个作者很懒,什么都没留下…
展开
-
hbase问题总结
个人笔记,总结看到的hbase问题,方便以后查阅原创 2022-04-26 16:02:34 · 1084 阅读 · 0 评论 -
关于MapReduce中reduce百分比的问题
今天遇到一个问题:MapReduce执行任务的百分比回退,需要查看日志分析。那如何判断是那个阶段出现问题了呢?在reduce阶段大概分为3个阶段shuffle(进度:0~33%)准备数据,获取Map阶段已经计算完的数据。会在map执行完一部分,开始拉取数据。sort(进度:33%~66%)Reduce对拉取的数据进行排序reduce(进度:66%~100%)真正的reduce计算阶段,执行你所写的reduce代码,如果卡在这个阶段,就是reduce的代码发生问题了,否则才是数据量原创 2021-10-14 14:53:22 · 910 阅读 · 0 评论 -
关闭防火墙解决Bad connect ack with firstBadLink错误
报错代码如下:21/07/14 14:02:01 INFO hdfs.DFSClient: Exception in createBlockOutputStreamjava.io.IOException: Bad connect ack with firstBadLink as 192.168.0.62:50010 at org.apache.hadoop.hdfs.DFSOutputStream$DataStreamer.createBlockOutputStream(DFSOutpu原创 2021-07-14 15:05:28 · 552 阅读 · 0 评论