1、前期建立java环境,安装hadoop的掠过不谈。只要输入jps命令后,能出现类似于
6528 NodeManager
6227 SecondaryNameNode
6035 DataNode
7398 Jps
5914 NameNode
6410 ResourceManager
的就行了。
如果没有NameNode,可以参考http://blog.csdn.net/dongzhongyan/article/details/59497653
如果没有ResourceManager,本人就很奇葩的遇到了一次,那么可以stop-dfs.sh,再重启hadoop。就行了,不知道是不是系统抽风问题。
2、处理dfs系统。主要的一大坑点是,要把要输入的文件放在dfs系统,而不是安装目录下。
PS:貌似只有进入了 hadoop环境,才可以进行分布式系统的操作。
可以执行
hadoop fs -mkdir /Input
然后再在这个文件夹下存放 要处理的txt文件
3、运行wordcount
执行:
hadoop jar (wordcount的jar的位置) wordcount(hdfs中的输入,这里是 /input) (预期的输出位置,注意不要提前创建,可以输入 /output)
即可。
如:
hadoop jar /usr/local/hadoop/hadoop-mapreduce-examples-2.9.0.jar wordcount /input /output
最后效果如下: