上一篇我们学习的是hadoop源码编译,这一篇我们学习如何在单机环境下安装运行Hadoop.
加群:397706991,共同学习
配置SSH免登陆
为什么要配置SSH免登陆呢?因为我们知道hadoop的工作原理分为namenode和datanode,NameNode负责任务的分发和管理,而DataNode负责任务的处理,这样必然会进行两个节点之间的通讯,而这种通讯我们不可能人为地输入密码,因此他们之间需要建立免登陆的协议来解决这种问题。
ssh-keygen -t dsa -P '' -f ~/.ssh/id_dsa
cat ~/.ssh/id_dsa.pub >> ~/.ssh/authorized_keys
上面的两条命令就是的两个节点之间进行免登陆的通讯了。
2、启动运行Hadoop
1、格式化Hadoop的文件系统HDFS
hdfs namenode -format
2、启动Hadoop
start-dfs.sh
3、访问http://localhost:50070/
4、测试
hdfs dfs -mkdir /user
hdfs dfs -mkdir /user/root
hdfs dfs -mkdir input
hdfs dfs -put logs/* input
hadoop jar share/hadoop/mapreduce/hadoop-mapreduce-examples-2.2.0.jar grep input output 'dfs[a-z.]+'