hadoop
我知道你是高手
这个作者很懒,什么都没留下…
展开
-
Hadoop HDFS-HA NameNode之间切换失败出错
搭建的Hadoop集群启动后,HDFS-HA 的其中一个active状态的NameNode挂了,但是另外一个之前处于standby的namenode一直未升为active查看挂掉的NameNode服务器上的zkfc服务的日志:未找到fuser命令,导致zkfc通过ssh执行shell命令时无法使用fuser导致将NameNode升为active时失败。解决:在服务器上安装psm...原创 2019-02-24 03:55:44 · 1038 阅读 · 0 评论 -
mapreduce程序执行问题汇总
1.java.lang.NullPointerException at org.apache.hadoop.io.WritableComparator.compare如果extends WritableComparator 实现自定义的分组器在无参构造中一定要添加super:public NaturalKeyGroupingComparator() { /** ...原创 2019-02-28 18:44:15 · 976 阅读 · 0 评论 -
hadoop中mapreduce提交作业到集群运行报错ClassNotFoundException
错误信息:解决方法:在代码中添加:job.setJarByClass(MyWordCount.class);如果未指定,打印信息中会提示: No job jar file set. User classes may not be found. See Job or Job#setJar(String).这里贴上官方demo中WordCount类的反编译代码:p...原创 2019-02-25 22:15:11 · 1716 阅读 · 0 评论 -
hadoop中mapreduce提交作业到集群运行报错ClassNotFoundException
错误信息:解决方法:查看reducer部分代码:发现这个内部类上少了static加上之后:重新打jar包,上传运行成功。原创 2019-02-25 22:34:49 · 366 阅读 · 0 评论 -
idea编写mapreduce程序打包放到服务器运行过程记录
1.新建项目,然后创建目录,编写简单worldcount的demo:package com.hadoop.mapreduce.wordcount;import java.io.IOException;import java.util.StringTokenizer;import org.apache.hadoop.conf.Configuration;import org.apac...原创 2019-02-25 22:48:10 · 2951 阅读 · 0 评论