前言
最近刚接触hadoop,在hadoop的安装及配置过程中遇到一些问题,在学习的过程中,发现网上现有的一些文章还是有些坑没有解释清楚或者有问题,导致走一些弯路,因此记录下自己安装配置的过程,方便像我一样的小白能够快速上手hadoop。
ssh的配置和验证
1.确认mac的远程登录是否开启
系统偏好设置->共享->勾选远程登录.
当远程登录状态为打开且为绿灯时,成功开启,ok,进行下一步.
2.用dsa密钥认证来生成一对公钥和私钥:
ssh-keygen -t dsa -P '' -f ~/.ssh/id_dsa
3.将生成的公钥加入到用于认证的公钥文件中:
cat ~/.ssh/id_dsa.pub >> ~/.ssh/authorized_keys
4.接下来测试一下是否配置成功
ssh localhost
如果显示如上图所示,那么ssh配置成功。
安装jdk
安装jdk,在这里就不用多啰嗦了.提醒一下的是,务必要安装1.7以上的jdk(查一下要安装的hadoop支持什么版本的jdk)。
安装hadoop
当jdk安装完毕以及ssh配置都成功之后我们现在可以来着手进行Hadoop的安装了。
Hadoop下载地址(以2.7.3版本为例):
https://archive.apache.org/dist/hadoop/common/hadoop-2.7.3/
下载对应的.tar.gz文件即可,然后将文件解压。(注意:要记住解压文件的位置)
然后建立目录(先进入刚刚解压的文件夹建立目录,用于之后的存储):
这步就是一个最容易出的问题,好多网上文章中的问题都是由于没有建立目录导致配置文件出错
cd ~/hadoop-2.7.3
mkdir tmp
cd tmp
mkdir hdfs
mkdir hdfs/data
mkdir hdfs/name
hadoop的配置
所需要修改的配置文件都在hadoop-2.7.3/etc/hadoop目录下
1.hadoop-env.sh
/usr/libexec/java_home -V,查看jdk版本及路径: