在上一博文中,我们已经安装了Hadoop2.9的伪分布环境,我们需要对其进行一些验证。
验证
【在NDFS中创建目录,用于执行MapReduce jobs。】
$ hdfs dfs -mkdir /user //这和linux的命令很是相识,前面加上-(-ls,-cat, -rmdir等等),这个目录是建在NDFS的img上的。
$ hdfs dfs -mkdir /user/<username> //如果username为wei,此命令为hdfs dfs -mkdir /user/wei。注意这是缺省目录,但需要建立
【仍使用wordcount的例子进行检查】
【(1)上传输入到NDFS,统计的文件在本地名字为mytest.txt】
$ hdfs dfs -put mytest.txt input/mytest.txt //将本地当前目录的mytest.txt上传至NDFS的/user/wei/input/mytest.txt中
【(2)进行mapreduce的进行】
$ hadoop jar share/hadoop/mapreduce/hadoop-mapreduce-examples-2.9.0.jar wordcount input/mytest.txt output
【(3)查看结果,可以直接上NDFS查看,也可以导入到本地文件系统中查看】
【 3.1)直接在NDFS中查看】
$ hdfs dfs -ls output/
Found 2 items
-rw-r--r-- 1 gsta supergroup 0 2018-05-18 11:21 output/_SUCCESS
-rw-r--r-- 1 gsta supergroup 33 2018-05-18 11:21 output/part-r-00000
$ hdfs dfs -cat output/part-r-00000
Hello, 2
friend! 1
my 1
world! 1
【3.2)导入到本地文件系统中查看】
$ hdfs dfs -get output output //hdfs dfs -get <src> <localdst>,将源输出的output,放入到本地目录output下,实际为output/output
一些命令
- -mkdir
- -ls
- -ls -R
- -put 上传一个文件 hdfs dfs -put data.txt /data/input
- -moveFromLocal 上传一个文件,会删除本地文件
- -copyFromLocal 上传一个文件,同-put
- -copyToLocal 下载文件
- -get 下载文件 hdfs dfs -get /data/input/data.txt
- -rm 删除文件
- -getmerge 将目录所有的文件先合并,再下载
- -cp
- -mv
- -count 统计目录下的文件个数等
- -text, -cat
- -balancer 平衡操作