Hadoop常见错误【持续更新】

一、搭建分布式问题

二、mapreduce问题

【错误1】…Error file: prelaunch.err.

【解决】

$vim yarn-site.xml
#添加如下
"""
#务必所有规划为resourcemanager都添加该配置，否则有时会出现8088端口启动不了现象
<!--新版本指定文件-->
    <property>
        <name>yarn.resourcemanager.webapp.address.rm1</name>
        <value>resourcemanagerhost:8088</value>
</property>
    <property>
        <name>yarn.resourcemanager.scheduler.address.rm1</name>
        <value>resourcemanagerhost</value>
    </property>
"""

【错误2】…job.splitmetainfo not exists…

【解决】
在启动runnertool时加入配置，指定job.splitmetainfo的存储目标

configuration.set("fs.defaultFS","hdfs://cluster:port");
ToolRunner.run(configuration, job, args);

【错误3】打包jar时出现WARNNING

没有在主类添加Jar类
在主类添加

job.setJarByClass(JobMain.class);//此代码防止出现报错警告情况