安装好单机Hadoop系统后,我们使用其自带的wordcount程序进行简单的测试,以下是一些简单的命令:
格式化hdfs文件系统:
做以这一步之前最好先删除tmp文件夹中的内容,不然上次存留的datanode数据会与这次产生冲突,造成Incompatible DatanodeID。
hadoop namenode -format
开启dfs和mapreduce:
start-all.sh
建立hdfs文件系统:
建立文件夹 hadoop dfs -mkdir test-input
从linux文件系统中拷贝文件 hadoop dfs -copyFromLocal XXX文件夹 test-input
运行wordcount程序:
hadoop jar hadoop-mapred-examples-0.21.0.jar wordcount test-input test-output
注意test-output由系统自己建立
查看运行结果:
hadoop dfs -cat test-output/part-r-00000
可以将文件从hdfs中副知道linux文件系统中查看:
hadoop dfs -get test-output/part-r-00000 test-out.txt
使用web界面查看hadoop集群和作业状态:
http://NameNode节点的IP:50070/