伪分布式下调用hdfs
已经使用dev1启动 NN,DN
(a)在HDFS文件系统上创建一个input文件夹
bin/hdfs dfs -mkdir -p /user/dev1/input
注意:此命令操作的是集群里的文件,而不是本地Linux文件
(b)将测试文件内容上传到文件系统上
bin/hdfs dfs -put word.txt /user/dev1/input/
(c)查看上传的文件是否正确
bin/hdfs dfs -ls /user/dev1/input/
bin/hdfs dfs -cat /user/dev1/input/word.txt
(d)运行MapReduce程序
bin/hadoop jar share/hadoop/mapreduce/hadoop-mapreduce-examples-2.7.2.jar wordcount /user/dev1/input/ /user/dev1/output
(e)查看输出结果
命令行查看:
bin/hdfs dfs -cat /user/dev1/output/*
浏览器查看
查看output文件
(f)将测试文件内容下载到本地
hdfs dfs -get /user/dev1/output/part-r-00000 ./wcoutput/
(g)删除输出结果
hdfs dfs -rm -r /user/dev1/output