用hadoop运行一个简单程序WordCount

1、在hadoop目录下面新建两个文件夹,随便输入一些语句

2、在HDFS上创建输入文件夹

呼出终端,输入下面指令(要在/usr/hadoop/hadoop0.21.0/目录下):

bin/hadoop fs -mkdir hdfsInput

执行这个命令时可能会提示类似安全的问题,如果提示了,请使用

bin/hadoop dfsadmin -safemode leave

来退出安全模式。

3. 上传本地file中文件到集群的hdfsInput目录下

在终端依次输入下面指令(f_*表示以f_开头的所有文件):

bin/hadoop fs -put file/f_*.txt hdfsInput

4. 运行例子:

在终端输入下面指令(所有jar文件全在/usr/hadoop/hadoop0.21.0目录下面):

bin/hadoop jar hadoop-mapred-examples-0.21.0.jar wordcount hdfsInput hdfsOutput

注意,这里的示例程序是0.21.0版本的,可能每个机器有所不一致,那么请用*通配符代替版本号

bin/hadoop jar hadoop--mapred-examples-*.jar wordcount hdfsInput hdfsOutput

应该出现下面结果:

查看HDFS上hdfsOutput目录内容:

在终端输入下面指令:

bin/hadoop fs -ls hdfsOutput

我们的结果在"part-r-00000"中。

使用下面指令查看结果输出文件内容

输出目录日志以及输入目录中的文件是永久存在的,如果不删除的话,如果出现结果不一致,请参考这个因素。

 

评论
添加红包

请填写红包祝福语或标题

红包个数最小为10个

红包金额最低5元

当前余额3.43前往充值 >
需支付:10.00
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明:

1.余额是钱包充值的虚拟货币,按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载,可以购买VIP、付费专栏及课程。

余额充值