hadoop和spark安装过程中出现的问题

Hadoop安装过程中出现的问题

hadoop集群启动namenode成功，但datanode无法启动

出现的原因
在第一次格式化hdfs后，启动了hadoop集群，之后又进行了namenode的格式化，这时候namenode的clusterID会重新生成。而datanode的clusterID保持不变。

** 解决的两种方法**
1.修改VERSION文件。在namenode节点上打开:
进入hadoop-2.7.3/tmp/dfs/name/current/
打开VERSION： vi VERSION
复制clustreID的值 ，打开datanode1节点:
进入hadoop-2.7.3/tmp/dfs/data/current/
编辑VERSION： vi VERSION
粘贴clustreID的值
2.删除namenode，datanode节点中的/log和/data目录数据后，再次重新格式化namenode。

启动集群，提示进程已经开启，但 jps没有发现进程。

** 解决方法**
linux的根目录下/tmp目录中存在启动的进程临时文件，将集群相关进程删除掉，再重新启动集群。

spark安装过程中出现的问题

spark中配置了eventLog日志目录在hdfs上的端口号为9000,而hdfs上自己配置的namenode的端口号为8020。