Hadoop安装教程 Mac版

Hadoop安装教程 Mac版

一、JDK环境安装

1. 下载JDK1.8

Oracle官网下载JDK1.8版本
按照系统提示安装

2. 配置JDK环境变量

在terminal中输入 vi ~/.bash_profile ，按 i 进入编辑模式：

JAVA_HOME=/Library/Java/JavaVirtualMachines/jdk1.8.0_281.jdk/Contents/Home
export PATH=$PATH:$JAVA_HOME/bin
export CLASSPATH=.:$JAVA_HOME/lib/dt.jar:$JAVA_HOME/lib/tools.jar 

按 esc 退出编辑，输入 :wq 保存并退出。
在terminal中输入 source ~/.bash_profile ，使配置的环境变量生效。

二、Hadoop安装

1. 设置ssh免密码登录

因为Hadoop是分布式平台，需要多个机器之间协作，设置ssh免密码登录可以减少每次登陆主机输入密码的繁琐流程。

1) 在Mac的系统偏好设置–>共享中打开远程登录：
2) 在terminal中输入 ssh-keygen -t rsa ，生成rsa公钥，接下来一路按回车键或者输入y就行了：
3) 在terminal中输入 cat ~/.ssh/id_rsa.pub >> ~/.ssh/authorized_keys ，将公钥的内容写入到authorized_keys文件中。
4) 在terminal中输入 ssh localhost ，不需要密码也能登录，说明设置成功。

2. Hadoop下载与配置

1) 下载Hadoop

方法一：brew install hadoop
方法二：Hadoop官网下载
方法三：百度网盘下载（链接: https://pan.baidu.com/s/19JoUU_GTxBlqpEvaB51nyA 提取码: 74vc）
Note：推荐使用方法三，并将Hadoop文件解压到 /Library/Hadoop 文件夹下，以达到和笔者配置相同的效果。

2) 配置Hadoop环境变量

在terminal中输入 vi ~/.bash_profile ，按 i 进入编辑模式：

HADOOP_HOME=/Library/Hadoop/hadoop-3.2.2
export PATH=$PATH:$HADOOP_HOME/bin:$HADOOP_HOME/sbin

按 esc 退出编辑，输入 :wq 保存并退出。
在terminal中输入 source ~/.bash_profile ，使配置的环境变量生效。

3) 修改Hadoop配置文件

打开 /Library/Hadoop/hadoop-3.2.2/etc/hadoop 文件夹：

a. 配置 core-site.xml 文件

<configuration>
    <property>
        <name>fs.defaultFS</name>
        <value>hdfs://0.0.0.0:9000</value>
    </property>
    <!-- 指定hadoop运行时产生文件的存储路径 -->
    <property>