第一次写博客,心情还是无比的鸡冻。最近在研究大数据相关东西,看了些技术文档,感觉比较空,就着手搭了一套hadoop。废话不多说了,直接上正文。
1.搭建hadoop环境参考https://blog.csdn.net/china1987427/article/details/82057250
问题:目前hadoop官网只提供如下图几个版本
而下载的windows版本https://github.com/steveloughran/winutils是如下:
我使用的是https://mirrors.tuna.tsinghua.edu.cn/apache/hadoop/common/hadoop-3.0.3/hadoop-3.0.3.tar.gz hadoop3.0.3,对应 hadoop-3.0.0/bin
2.按照原文配置完后,使用命令hdfs namenode -format格式化数据
3.cmd进入hadoop-3.0.3\sbin使用命令start-all.cmd启动hadoop,会启动4个服务
(注意:sbin目录而不是bin目录)
4.cmd进入hadoop-3.0.3\sbin目录使用命令JPS,查看运行的所有服务,发现resourceManger服务启动失败,报错java.lang.NoClassDefFoundError: org/apache/hadoop/yarn/server/timelineservice/co llector/TimelineCollectorManager
通过报错发现缺少TimelineCollectorManager这个类,我们进入hadoop文件目录hadoop-3.0.3\share\hadoop\yarn\timelineservice找到hadoop-yarn-server-timelineservice-3.0.3.jar,将此jar包复制到hadoop-3.0.3\share\hadoop\yarn\lib目录下
然后删除data下datanode和namenode文件夹下初始化的数据,重新执行命令hdfs namenode -format格式化数据,执行start-all.cmd启动hadoop,执行jps命令发现resourceManger以及其他服务启动成功。
5.通过http://127.0.0.1:8088/访问,发现如下图所示,即表示我们的hadoop环境搭建成功。
寄语:每天进步一点点,成功就会在眼前。