最近在学习数据处理方面的知识,一直没有实践。闲来无事装个Hadoop玩玩,结果不小心掉坑里了。
安装步骤(因为懒不想写详细步骤,称不上教程,就叫做步骤吧)
- 下载Hadoop
官网下载链接:http://mirror.bit.edu.cn/apache/hadoop/common/
2. 参考官网教程
官网单机版Hadoop 安装指导链接:http://hadoop.apache.org/docs/current/hadoop-project-dist/hadoop-common/SingleCluster.html#YARN_on_Single_Node
3.掉坑
a. java jdk 版本。
Mac自带jdk是1.7,Hadoop 3.0需要1.8以上版本。用brew cask install java, 太慢,还容易断网安装失败。(PS:墙内还是手动到官网下载,手动安装比较方便)
b. 缺失 javax.activation.jar
启动dfs正常,启动yarn 报错 如下:
java.lang.NoClassDefFoundError: javax/activation/DataSource
解决:下载javax.activation.jar, 然后copy到Hadoop的lib目录下
我的目录是 hadoop-3.0.0/share/hadoop/common/lib/