hadoop安装教程

前言

最近刚接触hadoop，在hadoop的安装及配置过程中遇到一些问题，在学习的过程中，发现网上现有的一些文章还是有些坑没有解释清楚或者有问题，导致走一些弯路，因此记录下自己安装配置的过程，方便像我一样的小白能够快速上手hadoop。

ssh的配置和验证

1.确认mac的远程登录是否开启
　　　　系统偏好设置->共享->勾选远程登录.
当远程登录状态为打开且为绿灯时，成功开启，ok,进行下一步.
2.用dsa密钥认证来生成一对公钥和私钥：

ssh-keygen -t dsa -P '' -f ~/.ssh/id_dsa

3.将生成的公钥加入到用于认证的公钥文件中：

cat ~/.ssh/id_dsa.pub >> ~/.ssh/authorized_keys

4.接下来测试一下是否配置成功

ssh localhost

如果显示如上图所示，那么ssh配置成功。

安装jdk

安装jdk，在这里就不用多啰嗦了.提醒一下的是，务必要安装1.7以上的jdk（查一下要安装的hadoop支持什么版本的jdk）。

安装hadoop

　当jdk安装完毕以及ssh配置都成功之后我们现在可以来着手进行Hadoop的安装了。

Hadoop下载地址（以2.7.3版本为例）:
https://archive.apache.org/dist/hadoop/common/hadoop-2.7.3/

下载对应的.tar.gz文件即可，然后将文件解压。（注意：要记住解压文件的位置）

然后建立目录(先进入刚刚解压的文件夹建立目录，用于之后的存储)：

这步就是一个最容易出的问题，好多网上文章中的问题都是由于没有建立目录导致配置文件出错

cd ~/hadoop-2.7.3
mkdir tmp
cd tmp
mkdir hdfs
mkdir hdfs/data
mkdir hdfs/name

hadoop的配置

所需要修改的配置文件都在hadoop-2.7.3/etc/hadoop目录下

1.hadoop－env.sh

/usr/libexec/java_home -V,查看jdk版本及路径：