Hadoop 常见错误及解决方案 04

1.防火墙没关闭、或者没有启动 YARN

        INFO client.RMProxy: Connecting to ResourceManager at hadoop108/192.168.10.8032

2.主机名称配置错误

3.IP 地址配置错误

4.ssh 没有配置好

5.root 用户和 kane 两个用户启动集群不统一

6.配置文件修改不细心

7.不识别主机名称

java.net.UnknownHostException: hadoop102: hadoop102 
        at 
java.net.InetAddress.getLocalHost(InetAddress.java:1475) 
        at 
org.apache.hadoop.mapreduce.JobSubmitter.submitJobInternal(Job
Submitter.java:146) 
        at org.apache.hadoop.mapreduce.Job$10.run(Job.java:1290) 
        at org.apache.hadoop.mapreduce.Job$10.run(Job.java:1287) 
        at  java.security.AccessController.doPrivileged(Native 
Method) 
at javax.security.auth.Subject.doAs(Subject.java:415) 

         解决办法：
                （1）在/etc/hosts 文件中添加 192.168.10.102 hadoop102
                （2）主机名称不要起 hadoop、hadoop000 等特殊名称

8.DataNode 和 NameNode 进程同时只能工作一个。

9.执行命令不生效，粘贴 Word 中命令时，遇到 - 和 — 没区分开。导致命令失效。

        尽量不要粘贴 Word 中的代码，最好手敲。

10.jps 发现进程已经没有了，但是重新启动集群，提示进程已经开启。

        原因是在 Linux 的根目录下 /tmp 目录中存在启动的进程临时文件，将集群相关进程删除掉，再重新启动集群。

11.jps 不生效

        原因：全局变量 hadoop java 没有生效。

        解决办法：需要 source/ect/profile 文件。

[kane@hadoop102 etc]$ pwd
/etc
[kane@hadoop102 etc]$ ll
.
.
.
-rw-r--r--.  1 root root     1819 4月  11 2018 profile
.
.
.
[kane@hadoop102 etc]$ cat profile

12.8088端口连接不上

        注释掉 127.0.0.1 和 ：：1

[kane@hadoop102 etc]$ pwd
/etc
[kane@hadoop102 etc]$ cat hosts
#127.0.0.1   localhost localhost.localdomain localhost4 localhost4.localdomain4
#::1         localhost localhost.localdomain localhost6 localhost6.localdomain6


192.168.10.100 hadoop100
192.168.10.101 hadoop101
192.168.10.102 hadoop102
192.168.10.103 hadoop103
192.168.10.104 hadoop104
192.168.10.105 hadoop105
192.168.10.106 hadoop106
192.168.10.107 hadoop107
192.168.10.108 hadoop108

13.客户端操作没有权限

[kane@hadoop102 hadoop]$ pwd
/opt/module/hadoop-3.1.3/etc/hadoop
[kane@hadoop102 hadoop]$ vim core-site.xml 

<configuration>
    <!-- 指定 NameNode 的地址 -->
    <property>
      <name>fs.defaultFS</name>
      <value>hdfs://192.168.10.102:8020</value>
    </property>
    <!-- 指定 hadoop 数据的存储目录 -->
    <property>
      <name>hadoop.tmp.dir</name>
      <value>/opt/module/hadoop-3.1.3/data</value>
    </property>
    <!-- 配置 HDFS 网页登录使用的静态用户为 kane -->
    <property>
      <name>hadoop.http.staticuser.user</name>
      <value>kane</value>
    </property>
</configuration>

# 分发配置
[kane@hadoop102 hadoop]$ xsync core-site.xml

# 重启集群
[kane@hadoop102 hadoop]$ myhadoop.sh stop
[kane@hadoop102 hadoop]$ myhadoop.sh start