Hadoop大数据框架研究（6）——Hadoop环境部署问题汇总

      近期对hadoop生态的大数据框架进行了实际的部署测试，并结合ArcGIS平台的矢量大数据分析产品进行空间数据挖掘分析。本系列博客将进行详细的梳理、归纳和总结，以便相互交流学习。

A.使用vim编辑文件时，保存提示：“Found a swap file by the name”

原因：之前编辑此文件时出现未知异常，产生了一个*.swp文件，需要删除此隐藏文件才能继续操作目标文件。尤其是使用不同用户编辑同一文件。

解决方案：
1.ls -a 显示目标编辑文件所在的文件夹（包括隐藏文件）
2.删除*.swp文件。
3.然后使用相应权限的用户编辑

B.Hadoop集群所有的DataNode都启动不了

原因：多次使用Hadoop namenode -format格式化hdfs造成临时目录保护
java.io.IOException: Cannot lock storage /usr/hadoop/tmp/dfs/name. The directory is already locked.

解决方案：
到每个Slave节点下面找到/hadoop/hadoop275_tmp/dfs/目录，删除下面的data文件夹

C.启动hiveserver2时jar包冲突（slf4j-log4j12-1.7.10.jar）

原因：因为hadoop环境和hive环境都包含同一个jar包，移除其中一个即可。

SLF4J: Found binding in [jar:file:/home/hadoop/hadoop/apache-hive-2.3.2-bin/lib/log4j-slf4j-impl-2.6.2.jar!/org/slf4j/impl/StaticLoggerBinder.class]

SLF4J: Found binding in [jar:file:/home/hadoop/hadoop/hadoop-2.7.5/share/hadoop/common/lib/slf4j-log4j12-1.7.10.jar!/org/slf4j/impl/StaticLoggerBinder.class]

解决方案：
r m –f 移除其中一个即可

D.使用正常的虚拟机重启后网络配置失效

原因：因为虚拟机开启了NetworkManager