4 启动
4.1 格式化
cd $Hadoop_HOME
bin/hdfs namenode -format
4.2 在hadoop2-m1中启动 namenode 和 resourcemanager
sbin/hadoop-daemon.sh start namenode
sbin/yarn-daemon.sh start resourcemanager
#停止服务的命令
sbin/hadoop-daemon.sh stop namenode
sbin/yarn-daemon.sh stop resourcemanager
4.3 在hadoop2-s1中启动 datanode 和 nodemanager
sbin/hadoop-daemon.sh start datanode
sbin/yarn-daemon.sh start nodemanager
#停止服务的命令
sbin/hadoop-daemon.sh stop datanode
sbin/yarn-daemon.sh stop nodemanager
4.4 在hadoop2-m1中启动 proxyserver 和 historyserver
sbin/yarn-daemon.sh start proxyserver
sbin/mr-jobhistory-daemon.sh start historyserver
#停止服务的命令
sbin/yarn-daemon.sh stop proxyserver
sbin/mr-jobhistory-daemon.sh stop historyserver
5 检查和测试
5.1 检查以下两个页面是否能打开
http://hadoop2-m1:50070/dfshealth.jsp
http://hadoop2-m1:8088/cluster/nodes
5.2 运行以下hdfs命令
bin/hdfs dfs -mkdir /test/input1
bin/hdfs dfs -put NOTICE.txt /test/input1/
bin/hdfs dfs -put README.txt /test/input1/
bin/hdfs dfs -get /test/input1/NOTICE.txt /tmp/
bin/hdfs dfs -cat /test/input1/NOTICE.txt
5.3 运行mapreduce job
bin/hadoop jar share/hadoop/mapreduce/hadoop-mapreduce-examples-2.2.0.jar grep /test/input1 /test/output1 'code'
6 实战tips
第一次安装hadoop2.0版本的时候,最好是像本文一样先做最基本的配置,让hadoop2.0能正常启动,然后再逐步加上其他的特性。
参考资料