Mac Serria 安装Hadoop以及免密码登录localhost

1. 安装hadoop

最近想学习下hadoop的使用，尝试在mac上进行安装。这里也放一下mac安装hadoop的简单教程。安装hadoop在mac上非常简单，使用brew这个工具可以非常方便的安装hadoop。安装好brew之后，直接使用

brew install hadoop

即可安装hadoop2.7.3。
重要的部分是如何配置hadoop的一些文件，一共要配置5个文件。

• hadoop-env.sh(配置hadoop环境)
• core-site.xml(配置NameNode主机名与端口)
• hdfs-site.xml(配置HDFS的默认参数副本数)
• mapred-site.xml(配置JobTracker主机名与端口)
• yarn-site.xml
  这五个文件的位置在/usr/local/Cellar/hadoop/2.7.3/libexec/etc/hadoop中。如果该目录下没有，应该是以*.xml.template形式存在，直接复制改名为*.xml再进行配置。

这五个个文件的配置主要参考这个链接，直接复制代码到对应的文件即可。但是要注意vim core-site.xml的过程中，原文作者指定的hadoop.tmp.dir到他hadoop的目录下，由于我们使用的是brew安装，所以我们可以把

<value>/Users/k/hadoop-2.7.2/tmp/hadoop-${user.name}</value>

改为brew安装的hadoop的默认位置

<value>/usr/local/Cellar/hadoop/hdfs/tmp</value>

2. 免密码登录localhost

首先可以尝试这个链接中的方法

1. ssh-keygen -t rsa
Press enter for each line 提示输入直接按回车就好
2. cat ~/.ssh/id_rsa.pub >> ~/.ssh/authorized_keys
3. chmod og-wx ~/.ssh/authorized_keys 

测试 ssh localhost如果仍然提示要输入密码，那么可以vim ~/.ssh/config文件，添加以下代码。

Host localhost
   AddKeysToAgent yes
   UseKeychain yes
   IdentityFile ~/.ssh/id_rsa

测试 ssh localhost，不再提示需要输入密码。

3. 测试

完成上述步骤后，开始测试安装。
首先安装HDFS并格式化namenode

hdfs namenode -format

之后启动hadoop

start-all.sh

验证安装是否成功
输入jps

或者
打开http://localhost:50070,进入hdfs管理页面
打开http://localhost:8088,进入hadoop进程管理页面

验证完毕关闭hadoop

stop-all.sh

转载于:https://www.cnblogs.com/dagger14/p/6599194.html