step one:
启动hadoop集群;
进入hadoop,为防止进入错误,可以先:cd / 进入根目录后,然后 cd ,就会进去hadoop下面
创建一个文件,或者rz上传一些文件,
- touch test.guyong.cn
- vi test.guyong.cn //然后再里面写一些内容
把创建的文件上传到HDFS中,
- hadoop fs -put test.guyong.cn /
这是把test.guyong,cn的文件上传到HDFS的根目录下
然后就可以查看HDFS中的文件了
- hadoop fs -ls /
step two:
在主节点hadoop01,也就是master上输入
- hadoop jar /export/software/hadoop/hadoop-3.1.0/share/hadoop/mapreduce/hadoop-mapreduce-examples-3.1.0.jar wordcount /test.guyong.cn /testwordcount/result
在hadoop安装目录下的share 文件下,找到mapreduce的example,wordcount 表示单词统计,然后对刚刚创建的test.guyong.cn进行单词统计,把结果result放到HDFS根目录下的testwordcount文件夹里面。
step three:
查看结果,查看HDFS里面的文件,
- hadoop fs -ls /
- hadoop fs -ls /testwordcount/result
出现的两个结果,
/testwordcount/result/_SUCCESS
/testwordcount/result/part-r-00000
第一个文件_SUCCESS 是标识此次运行成功
使用cat查看第二个文件
- hadoop fs -cat /testwordcount/result/part-r-00000
里面就是你统计的结果,