Mac OS X下Hadoop、Spark单机版环境搭建

环境搭建

Mac下搭建Hadoop、spark相对比较简单，但是Spark依赖Hadoop的HDFS和YARN计算框架，所以想搭建Spark，先要搭建好Hadoop环境。

我基本上是照着http://www.cnblogs.com/bigdataZJ/p/hellospark.html 这篇博客来搭建环境的，大神在写的时候里面有些许瑕疵，笨宝宝费了好些功夫才找到哪里出了问题，大牛们可以直接参考这个博客去搭建，嘿嘿～

安装环境

操作系统： Mac OS X

JDK：1.8.0_101

命令终端 ： iTerm2（ Mac自带的命令终端也一样，只是配置环境参数需要到~/.bash_profile 下添加，对于iTerm2需要到~/.zshrc中添加）

软件包管理工具：brew（能够方便的安装和卸载软件，类似于Ubuntu下的apt-get以及前端里的npm）

安装及配置Hadoop

1. 首先安装Hadoop

$  brew install Hadoop 

2.配置SSH免密码登录（配置好以后登录不用每次都输密码）

2.1 用dsa密钥认证来生成一对公钥和私钥：

$ ssh-keygen -t dsa -P '' -f ~/.ssh/id_dsa

2.2 将生成的公钥加入到用于认证的公钥文件中：

$ ssh-keygen -t dsa -P '' -f ~/.ssh/id_dsa

2.3接下来测试一下是否配置成功：

$ ssh localhost

(注意：这里如果遇到connection refused之类的错误，检查一下Mac是否开启远程登录功能，在系统偏好设置中可以设置：

系统偏好设置－－>共享－－>勾选远程登录－－>允许访问：所有用户，设置好之后再测试一下ssh，应