Linux下Hadoop集群的搭建(2)—单机模式

上一篇我们学习的是hadoop源码编译，这一篇我们学习如何在单机环境下安装运行Hadoop.

加群：397706991，共同学习

配置SSH免登陆

为什么要配置SSH免登陆呢？因为我们知道hadoop的工作原理分为namenode和datanode，NameNode负责任务的分发和管理，而DataNode负责任务的处理，这样必然会进行两个节点之间的通讯，而这种通讯我们不可能人为地输入密码，因此他们之间需要建立免登陆的协议来解决这种问题。

ssh-keygen -t dsa -P '' -f ~/.ssh/id_dsa
cat ~/.ssh/id_dsa.pub >> ~/.ssh/authorized_keys

上面的两条命令就是的两个节点之间进行免登陆的通讯了。

2、启动运行Hadoop

1、格式化Hadoop的文件系统HDFS

hdfs namenode -format

2、启动Hadoop

start-dfs.sh

3、访问http://localhost:50070/

4、测试

hdfs dfs -mkdir /user
hdfs dfs -mkdir /user/root
hdfs dfs -mkdir input
hdfs dfs -put logs/* input
hadoop jar share/hadoop/mapreduce/hadoop-mapreduce-examples-2.2.0.jar grep input output 'dfs[a-z.]+'