Hadoop 2.9.0 伪分布式搭建,并运行wordcount 的一些坑

版权声明:本文为博主原创文章,遵循 CC 4.0 BY-SA 版权协议,转载请附上原文出处链接和本声明。
本文链接:https://blog.csdn.net/leokingszx/article/details/79056557

1、前期建立java环境,安装hadoop的掠过不谈。只要输入jps命令后,能出现类似于

6528 NodeManager
6227 SecondaryNameNode
6035 DataNode
7398 Jps
5914 NameNode
6410 ResourceManager

的就行了。

如果没有NameNode,可以参考http://blog.csdn.net/dongzhongyan/article/details/59497653

如果没有ResourceManager,本人就很奇葩的遇到了一次,那么可以stop-dfs.sh,再重启hadoop。就行了,不知道是不是系统抽风问题。

2、处理dfs系统。主要的一大坑点是,要把要输入的文件放在dfs系统,而不是安装目录下。

PS:貌似只有进入了 hadoop环境,才可以进行分布式系统的操作。

可以执行   

        hadoop fs -mkdir /Input  

        然后再在这个文件夹下存放 要处理的txt文件

3、运行wordcount

执行:

hadoop jar (wordcount的jar的位置) wordcount(hdfs中的输入,这里是 /input) (预期的输出位置,注意不要提前创建,可以输入 /output)

即可。

如:

hadoop jar /usr/local/hadoop/hadoop-mapreduce-examples-2.9.0.jar wordcount /input /output

最后效果如下:

 

 

 

展开阅读全文

没有更多推荐了,返回首页