Hadoop常见错误【持续更新】
一、搭建分布式问题
二、mapreduce问题
【错误1】…Error file: prelaunch.err.
【解决】
$vim yarn-site.xml
#添加如下
"""
#务必所有规划为resourcemanager都添加该配置,否则有时会出现8088端口启动不了现象
<!--新版本指定文件-->
<property>
<name>yarn.resourcemanager.webapp.address.rm1</name>
<value>resourcemanagerhost:8088</value>
</property>
<property>
<name>yarn.resourcemanager.scheduler.address.rm1</name>
<value>resourcemanagerhost</value>
</property>
"""
【错误2】…job.splitmetainfo not exists…
【解决】
在启动runnertool时加入配置,指定job.splitmetainfo的存储目标
configuration.set("fs.defaultFS","hdfs://cluster:port");
ToolRunner.run(configuration, job, args);
【错误3】打包jar时出现WARNNING
没有在主类添加Jar类
在主类添加
job.setJarByClass(JobMain.class);//此代码防止出现报错警告情况