download
http://apache.mirrors.hoobly.com/hadoop/common
下选择想要下载的hadoop版本
下载hadoop-****.tar.gz,不要下载源码版
然后解压到任意目录
替换源包
任意目录,进入Git Bash,将两个文件夹下载下来:
git clone https://gitee.com/oneslideicywater/hadoop-windows.git
替换掉hadoop-2.x.x
根目录下:
bin
和etc
两个目录使用刚才下载的!
设置Hadoop的JAVA_HOME环境变量
确定安装JDK1.7+,并正确配置了JAVA环境变量且JAVA_HOME
环境变量路径不能包含空格
打开/etc/hadoop/hadoop-env.cmd
找到%JAVA_HOME%
之类的字样,替换成自己的JAVA_HOME
路径。
设置datanode和namenode(管理节点)的数据保存路径
以下所有
/
代表Hadoop根目录
在/
下创建data文件夹并在/data
下创建datanode和namenode两个子文件夹
在/etc/hadoop/hdfs-site.xml
将datanode
和namenode
文件夹的路径替换成自己的路径,根据其上下文判断格式,不要删之前路径前的/
,且路径分隔符是/
将hadoop的根目录/
配置进windows环境变量HADOOP_HOME
,并将%HADOOP_HOME%/bin;%HADOOP_HOME%/bin;
加入Path
系统环境变量
启动Hadoop
- 初始化namenode节点
hadoop namenode –format
-
运行
如果查看java进程会看到ResourceManager
,NodeManager
,DataNode
和NameNode
都
正常启动,说明配置成功,you’re ready to go!
WARN
很可能会碰到这个异常,在RerourceManager
窗口下,亦可以输入Jps
发现ResourceManager
没成功启动
java.lang.NoClassDefFoundError:
org/apache/hadoop/yarn/server/timelineservice/collector/TimelineCollectorManager
参考:
stackoverflow将/share/hadoop/yarn/timelineservice/hadoop-yarn-server-timelineservice-x.x.x(版本号).jar
,复制到其父目录/share/hadoop/yarn
下,不要问我为什么,我也不知道为什么!
我的安装实例
hadoop 2.9.2 2019/1/9稳定版
JDK 1.8_192