Mac下安装Hadoop 3.0 (防坑)

最近在学习数据处理方面的知识,一直没有实践。闲来无事装个Hadoop玩玩,结果不小心掉坑里了。

安装步骤(因为懒不想写详细步骤,称不上教程,就叫做步骤吧)

  1. 下载Hadoop

            官网下载链接:http://mirror.bit.edu.cn/apache/hadoop/common/

    2. 参考官网教程

            官网单机版Hadoop 安装指导链接:http://hadoop.apache.org/docs/current/hadoop-project-dist/hadoop-common/SingleCluster.html#YARN_on_Single_Node        


   3.掉坑

        a. java jdk 版本。

                Mac自带jdk是1.7,Hadoop 3.0需要1.8以上版本。用brew cask install java, 太慢,还容易断网安装失败。(PS:墙内还是手动到官网下载,手动安装比较方便)

        b.  缺失 javax.activation.jar

                 启动dfs正常,启动yarn 报错 如下:

                    java.lang.NoClassDefFoundError: javax/activation/DataSource

             解决:下载javax.activation.jar, 然后copy到Hadoop的lib目录下

                       我的目录是   hadoop-3.0.0/share/hadoop/common/lib/



评论
添加红包

请填写红包祝福语或标题

红包个数最小为10个

红包金额最低5元

当前余额3.43前往充值 >
需支付:10.00
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明:

1.余额是钱包充值的虚拟货币,按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载,可以购买VIP、付费专栏及课程。

余额充值