mac 环境下 hadoop与spark环境搭建

环境搭建

想必之前搭建Hadoop环境的Windows系统的相对繁琐步骤，Mac下显得简单不少。
虽然我们需要搭建的是Spark环境，但是因为Spark依赖了Hadoop的HDFS以及YARN计算框架，当然还有类似软件包管理软件。

安装前必备

操作系统：Mac OS X
JDK：1.8.0_192
命令终端：iTerm2（Mac自带的命令终端也一样）
软件包管理工具：brew

---

安装Hadoop

上面步骤和条件如果都具备的话，就可以安装Hadoop了，这也是我唯一遇到坑的地方。

1. 配置ssh

1.在终端执行ssh-keygen -t rsa，之后一路enter键，当然如果你之前已经执行过这样的语句，那过程中会提示是否要覆盖原有的key，输入y即可。
2.执行语句cat ~/.ssh/id_rsa.pub >> ~/.ssh/authorized_keys用于授权你的公钥到本地可以无需密码实现登录。
3.在终端输入ssh lcoalhost就能够免密登录了

启动sshd服务

sudo launchctl load -w /System/Library/LaunchDaemons/ssh.plist

---

2. 下载安装Hadoop

这时候brew的好处就体现出来了，你无需到Hadoop官网去找下载链接，只要在命令终端输入brew install hadoop等命令执行完，你就可以看到在/usr/lcoal/Cellar目录下就有了hadoop目录，表示安装成功。（当然命令执行过程中会因为网络或其他原因中断，这时候你只需要重新执行一次brew install hadoop即可）

---

3. 配置Hadoop

3.1 进入安装目录/usr/local/Cellar/hadoop/3.1.2/libexec/etc/hadoop，找到并打开hadoop-env.sh文件，将
export HADOOP_OPTS="$HADOOP_OPTS -Djava.net.preferIPv4Stack=true"
改为

export HADOOP_OPTS="$HADOOP_OPTS -Djava.net.preferIPv4Stack=true -Djava.security.krb5.realm= -Djava.security.krb5.kdc="
export JAVA_HOME="/Library/Java/JavaVirtualMachines/jdk1.8.0_121.jdk/Contents/Home"

(java_home请写上你本机上jdk安装的位置)

---

3