BUG记录
福气少侠
中厂大数据开发、数仓开发工程师,致力于数据仓库、数据治理、大数据计算,希望用自己的技术解决业务上的问题。数据分析就是以史明鉴,了解过去,预测未来~
展开
-
【BUG记录】集群启动后,jps没有datanode,检查发现clusterid一致
【Hadoop】集群启动后,jps没有datanode,检查发现clusterid一致问题说明像平常一样,使用./start-all.sh脚本后,发现jps没有datanode查找原因1 clusterid不一致初次启动hadoop时候,namenode与datanode的clusterid保持一致。 后来启动集群,发现jps中没有datanode,通常情况下,是namenode多次format,原创 2017-08-19 15:49:02 · 5641 阅读 · 1 评论 -
【Bug记录】Hadoop的WordCount结果不合并,不累加
Bug的背景初学MR程序,一定是从WordCount开始的,跟着敲一遍,发现hadoop执行WordCount后,不对结果进行累加,这是怎么一回事呢?Bug源码package mr;import java.io.IOException;import java.util.StringTokenizer;import org.apache.hadoop.io.Text;import org.apac原创 2017-12-25 17:17:06 · 912 阅读 · 1 评论 -
【Bug记录】hadoop启动失败:hadoop-config.sh: Syntax error: word unexpected (expecting ")")
Bug背景未修改任何配置的情况下,重启hadoopbiglucky@localhost>sh start-all.sh This script is Deprecated. Instead use start-dfs.sh and start-yarn.shstart-all.sh: 112: /opt/hadoop-2.7.1/sbin/../libexec/hadoop-config.sh:原创 2017-12-26 10:45:15 · 5568 阅读 · 0 评论