mac下Hadoop、HDFS、Spark环境的安装和搭建

环境搭建

相比之前搭建Hadoop环境的Windows系统的相对繁琐步骤，Mac下显得简单不少。
虽然我们需要搭建的是Spark环境，但是因为Spark依赖了Hadoop的HDFS以及YARN计算框架，当然还有类似软件包管理软件。

安装前必备

操作系统：Mac OS X
JDK：1.8.0_121
命令终端：iTerm2（Mac自带的命令终端也一样，只是配置环境参数需要到~/.bash_profile下添加，对于iTerm2需要到~/.zshrc中添加）
软件包管理工具：brew（能够方便的安装和卸载软件，使用brew cash还可以安装图形化的软件，类似于Ubuntu下的apt-get以及前端里的npm）

---

安装Hadoop

上面步骤和条件如果都具备的话，就可以安装Hadoop了，这也是我唯一遇到坑的地方。

1. 配置ssh

配置ssh就是为了能够实现免密登录，这样方便远程管理Hadoop并无需登录密码在Hadoop集群上共享文件资源。
如果你的机子没有配置ssh的话，在命令终端输入ssh localhost是需要输入你的电脑登录密码的。配置好ssh后，就无需输入密码了。
第一步就是在终端执行ssh-keygen -t rsa -P ''，之后一路enter键，当然如果你之前已经执行过这样的语句，那过程中会提示是否要覆盖原有的key，输入y即可。
第二步执行语句cat ~/.ssh/id_rsa.pub >> ~/.ssh/authorized_keys用于授权你的公钥到本地可以无需密码实现登录。
理论上这时候，你在终端输入ssh lcoalhost就能够免密登录了。

但是，我在这里遇到了个问题，折腾了我蛮久。当我执行cat ~/.ssh/id_rsa.pub >> ~/.ssh/authorized_keys的时候，总是出现如下警告zsh: permission denied: /Users/jackie/.ssh/authorized_keys。
显然这是权限问题，我直接为ssh目录赋予777、