Hadoop 2.9.0 伪分布式搭建,并运行wordcount 的一些坑

1、前期建立java环境,安装hadoop的掠过不谈。只要输入jps命令后,能出现类似于

6528 NodeManager
6227 SecondaryNameNode
6035 DataNode
7398 Jps
5914 NameNode
6410 ResourceManager

的就行了。

如果没有NameNode,可以参考http://blog.csdn.net/dongzhongyan/article/details/59497653

如果没有ResourceManager,本人就很奇葩的遇到了一次,那么可以stop-dfs.sh,再重启hadoop。就行了,不知道是不是系统抽风问题。

2、处理dfs系统。主要的一大坑点是,要把要输入的文件放在dfs系统,而不是安装目录下。

PS:貌似只有进入了 hadoop环境,才可以进行分布式系统的操作。

可以执行   

        hadoop fs -mkdir /Input  

        然后再在这个文件夹下存放 要处理的txt文件

3、运行wordcount

执行:

hadoop jar (wordcount的jar的位置) wordcount(hdfs中的输入,这里是 /input) (预期的输出位置,注意不要提前创建,可以输入 /output)

即可。

如:

hadoop jar /usr/local/hadoop/hadoop-mapreduce-examples-2.9.0.jar wordcount /input /output

最后效果如下:

 

 

 

评论 1
添加红包

请填写红包祝福语或标题

红包个数最小为10个

红包金额最低5元

当前余额3.43前往充值 >
需支付:10.00
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明:

1.余额是钱包充值的虚拟货币,按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载,可以购买VIP、付费专栏及课程。

余额充值