安装hadoop的版本在这里查看:本人使用的hadoop版本以及安装
1.向hadoop中创建文件夹input
cd bin/
hadoop fs -mkdir input/
2.查看常见的input文件夹
hadoop fs -ls /
通过web页面查看
3.创建文件并上传到hadoop中
1.创建file文件夹
cd ..
mkdir file
2.在file文件夹中创建file1.txt和file2.txt
cd file/
touch file1.txt
touch file2.txt
3.向file1和file2文件中添加数据
4.将当前的文件放入hadoop中的input文件夹
cd file/
hadoop fs -input file1.txt /input/
hadoop fs -input file2.txt /input/
查看是否已经推送成功
hadoop fs -ls /input
通过web查看
4.使用share中的wordcount用例
1.查看wordcount包
发现存在hadoop-mapredure-example.jar
2.使用这个包执行wordcount
hadoop jar share/hadoop/mapreduce/hadoop-mapreduce-example.jar wordcount /input/ /output/wordcoutoutput
这行命令的意思是调用hadoop-mapreduce-example.jar这个jar包并使用wordcount方法,使用hadoop中的input文件中的内容,将结果输出到output中的wordcoutoutput文件中
此时出现successful
通过web查看使用wordcount生成的文件
3.查看生成的结果:
结果使用hadoop中的wordcount程序成功!
5.总结
1.使用hadoop的执行操作文件的命令
的时候需要使用hadoop fs -命令名称
操作,对于执行jar包
需要使用hadoop jar XXX.jar
的方式执行jar文件
2.通过hadoop fs -ls /查看根文件下的内容
3.通过 hadoop fs -mkdir /文件夹名
,向hadoop中的根目录下创建文件夹
4.通过hadoop fs -put /本地文件名 /目标文件夹/
,向hadoop中的目标问及那夹中添加本地路径的文件(就是向hadoop文件中推送本地文件)
5.通过hadoop jar XXX.jar wordcount /统计数据的指定的文件/ /输出结果的目标文件/
,使用wordcout统计指定文件夹中的内容并输出到目标文件夹中
6.通过hadoop fs -cat /输出的目标文件/* 的方式查看最后统计的结果