Hadoop安装教程 Mac版
一、JDK环境安装
1. 下载JDK1.8
Oracle官网下载JDK1.8版本
按照系统提示安装
2. 配置JDK环境变量
在terminal中输入 vi ~/.bash_profile ,按 i 进入编辑模式:
JAVA_HOME=/Library/Java/JavaVirtualMachines/jdk1.8.0_281.jdk/Contents/Home
export PATH=$PATH:$JAVA_HOME/bin
export CLASSPATH=.:$JAVA_HOME/lib/dt.jar:$JAVA_HOME/lib/tools.jar
按 esc 退出编辑,输入 :wq 保存并退出。
在terminal中输入 source ~/.bash_profile ,使配置的环境变量生效。
二、Hadoop安装
1. 设置ssh免密码登录
因为Hadoop是分布式平台,需要多个机器之间协作,设置ssh免密码登录可以减少每次登陆主机输入密码的繁琐流程。1) 在Mac的系统偏好设置–>共享中打开远程登录:
2) 在terminal中输入 ssh-keygen -t rsa ,生成rsa公钥,接下来一路按回车键或者输入y就行了:
3) 在terminal中输入 cat ~/.ssh/id_rsa.pub >> ~/.ssh/authorized_keys ,将公钥的内容写入到authorized_keys文件中。
4) 在terminal中输入 ssh localhost ,不需要密码也能登录,说明设置成功。
2. Hadoop下载与配置
1) 下载Hadoop
方法一:brew install hadoop
方法二:Hadoop官网下载
方法三:百度网盘下载(链接: https://pan.baidu.com/s/19JoUU_GTxBlqpEvaB51nyA 提取码: 74vc)
Note:推荐使用方法三,并将Hadoop文件解压到 /Library/Hadoop 文件夹下,以达到和笔者配置相同的效果。
2) 配置Hadoop环境变量
在terminal中输入 vi ~/.bash_profile ,按 i 进入编辑模式:
HADOOP_HOME=/Library/Hadoop/hadoop-3.2.2
export PATH=$PATH:$HADOOP_HOME/bin:$HADOOP_HOME/sbin
按 esc 退出编辑,输入 :wq 保存并退出。
在terminal中输入 source ~/.bash_profile ,使配置的环境变量生效。
3) 修改Hadoop配置文件
打开 /Library/Hadoop/hadoop-3.2.2/etc/hadoop 文件夹:
a. 配置 core-site.xml 文件
<configuration>
<property>
<name>fs.defaultFS</name>
<value>hdfs://0.0.0.0:9000</value>
</property>
<!-- 指定hadoop运行时产生文件的存储路径 -->
<property>