Spark学习2 Mac OS X上Eclipse中搭建Hadoop的开发环境

一、在Mac OS X 上搭建 Hadoop 开发环境

Mac上的Hadoop环境搭建可以参考Mac OS X 上搭建 Hadoop 开发环境指南。

我在安装过程中遇到了两个错误：

1.使用hadoop namenode -format 启动NameNode时，hdfs报错：

根据报错信息猜测可能是Java路径设置错误，查看hadoop-env.sh 文件中JAVA_HOME的设置，发现路径中少了一个字母，修改成正确路径后，NameNode顺利启动。

2.使用jps查看进程时，发现只有5个进程，缺少了ResourceManager。

按照Hadoop 启动了之后， ResourceManager未起来的问题解决中的方法查看hadoop -> logs文件夹下的 yarn-paopao-resourcemanager-bogon.log日志（不同电脑上文件名可能不同）。