hadoop可能会遇到的问题

安装集群所遇到的问题
1 在Oracle VM VirtualBox安装ubantu集群式时每次重启IP地址都会改变
可通过命令修改各个节点上虚拟机的IP地址。

2 节点间ping连接超时
输入sudo vim /etc/hosts查看映射关系是否正确

3 开启集群后输入jps缺少进程
查看5个配置文件：slaves、core-site.xml、hdfs-site.xml、mapred-site.xml、yarn-site.xml
是否有地方未与虚拟机配置同步

4 找不到start-dfs.sh等命令
检查路径是否配置出错
首先输入
vim ~/.bashrc
加入一行
export PATH=$PATH:/usr/local/hadoop/bin:/usr/local/hadoop/sbin

配置PATH变量
保存后执行source ~/.bashrc使配置生效

5 Datanote无法正常启动
重新安装并初始化
cd /usr/local/hadoop
./sbin/stop-dfs.sh # 关闭
rm -r ./tmp # 删除 tmp 文件，注意这会删除 HDFS 中原有的所有数据
./bin/hdfs namenode -format # 重新格式化 NameNode
./sbin/start-dfs.sh # 重启

6.ping 得通但 telnet 端口不通， DataNode 启动了，但 Live datanodes 为 0
防火墙未关闭，用是 CentOS 7，需通过如下命令关闭：
systemctl stop firewalld.service # 关闭firewall
systemctl disable firewalld.service # 禁止firewall开机启动