目录[-]
1.Hadoop操作:
1)查看Hadoop版本:
2)自动开启Hadoop:
1
|
hm@hm-ubuntu:~$ start-all.sh
|
3)手动开启Hadoop:
2.HDFS操作:
1)查看HDFS上的文件:
1
|
hadoop dfs -
ls
/ 等同于 hadoop fs -
ls
/
|
2)向HDFS上传文件:
(1)使用put命令:
1
|
hadoop fs -put
test
.txt
/home/fs-test
.txt
|
(2)使用copyFromLocal命令:
1
|
hadoop fs -copyFromLocal 本地目录/本地文件
/HDFS
目录/文件
|
3)从HDFS下载文件:
1
|
hadoop fs -get
/HDFS
目录/文件 本地目录/文件
|
(1)拷贝单个文件:
(2)拷贝整个目录:
红色方框选中的hadoop-hm目录是之前我们在core-site.xml文件中配置的临时目录。红色椭圆选中的home是刚刚我们congHDFS下载的文件夹。
4)删除HDFS上的文件:
1
|
hadoop fs -rmr
/home/
*.txt
|
5)HDFS的更多命令:
3.MapReduce示例操作-统计字符
1)在HDFS上执行jar程序:
1
|
hadoop jar hadoop-examples-1.1.2.jar wordcount
/test
.txt
/result
|
警告:
13/05/11 16:43:29 INFO input.FileInputFormat: Total input paths to process : 1
13/05/11 16:43:29 INFO util.NativeCodeLoader: Loaded the native-hadoop library
13/05/11 16:43:29 WARN snappy.LoadSnappy: Snappy native library not loaded
速度挺快的,页面上只看到完成的任务: