1)通过命令把文件放到hadoop文件系统中。
将输出文件从分布式文件系统拷贝到本地文件系统查看:
在分布式文件系统上查看输出文件:
linux命令:
1)grep required *.sh //会把.sh文件中所有含有required的地方显示出来.
2)grep required *.sh|wc //显示总数.
./hadoop fs -put filename hdfs://localhost:9000 //fs是指操作文件系统localhost:50070
./hadoop fs -put *.sh /input //把当前文件夹下的所有.sh文件放到hdfs的input目录下.
2)在hdfs中创建文件夹
./hadoop fs -mkdir /input //input为文件名,必须写全路径,否则会是/user/用户名/input
3)
./hadoop jar mapred程序.jar wordcount /input /output //
4)查看输出文件:
将输出文件从分布式文件系统拷贝到本地文件系统查看:
$ bin/hadoop fs -get output output
$ cat output/*
或者
在分布式文件系统上查看输出文件:
$ bin/hadoop fs -cat output/*
5)完成全部操作后,停止守护进程:
$ bin/stop-all.sh
linux命令:
1)grep required *.sh //会把.sh文件中所有含有required的地方显示出来.
2)grep required *.sh|wc //显示总数.