hadoop的一些常见问题

1.虚拟机动态IP的时候可以ping通外网，但是设置为静态IP之后就不能ping通外网？
解决方法：可能是DNS的问题，在网关里配置DNS=网关地址，然后重启网关，再次ping外网。

2.build.gradle文件project.ext.mainclass配置错误，怎么办？
解决方法：重新配置文件夹的build.gradle文件，把project.ext.mainclass配置为packageName.mainClassName（packageName与mainClassName用实际名称替换，如’wordcount.WordCountJob’）

3.由于多次format namenode节点导致 namdenode 的 namespaceID 与 datanode的namespaceID 不一致，从而导致namenode和 datanode的断连怎么办？
解决方法：
（1）将Hadoop所有服务停止：stop-all.sh
（2）再自己设置的临时文件夹（tmp/dfs/）中，将data文件夹删除
（3）重新启动Hadoop服务就可以了，start-dfs.sh

4.hadoop：找不到命令
原因：没有配置环境变量
解决办法：
在Linux环境内下输入export PATH=$PATH:/usr/local/hadoop/bin，检查hadoop命令是否可用 输入hadoop version
使hadoop命令永久生效方法：

如果第二次开机后，仍旧提示“hadoop：未找到命令”，那就是上次修改的$PATH 路径没有保存。

解决这个问题，就是直接将其添加到配置文件，有的配置文件在/etc/profile,有的在.bashrc文件里，我的是在.bashrc 中，下面将以此为例添加PATH路径。

vim ~/.bashrc #添加“ export PATH=$PATH:/usr/local/hadoop/sbin:/usr/local/hadoop/bin ",引号中的内容,保存后退出
source ~/.bashrc #使修改后的 .bashrc文件生效
hadoop version #测试修改是否成功
5.无法启动start-dfs.sh解决办法：
在解压的hadoop文件中的sbin文件中
vi 并编辑start-dfs.sh与stop-dfs.sh

再次重启dfs和yarn就能解决

6.开启集群后输入jps后缺少进程

解决：查看5个配置文件：slaves、core-site.xml、hdfs-site.xml、mapred-site.xml、yarn-site.xml
修改文件workers
修改在/usr/local/hadoop/etc/hadoop目录下的配置文件workers
将内容修改为Slave1

修改文件core-site.xml
修改在/usr/local/hadoop/etc/hadoop目录下的配置文件core-site.xml
修改文件hdfs-site.xml
修改在/usr/local/hadoop/etc/hadoop目录下的配置文件hdfs-site.xml

修改文件mapred-site.xml
修改在/usr/local/hadoop/etc/hadoop目录下的配置文件mapred-site.xml

修改文件 yarn-site.xml
修改在/usr/local/hadoop/etc/hadoop目录下的配置文件yarn-site.xml