图解shell命令运行Hadoop1.2的WordCount例子

[b][color=green][size=x-large]在hadoop1.2.x的版本中,直接运行自带的WordCount的例子会报异常,这个原因是因为它路径的问题,所以,想要正常运行自带的例子,我们还是需要做一些准备工作的,当然你可以直接在eclipse中修改它的源码然后重新编译,再运行,这样一来比较麻烦,特别是对一些刚学习的朋友来说,在eclipse配置个hadoop也许都得折腾半天,所以本篇,散仙会介绍使用shell命令的改变它的编译路径,并重新打包,然后执行,作用跟eclipse改源码一样,但是步骤会很简洁。

下面散仙进入正题,在这之前,确保你的Hadoop的环境已经可以正常工作,如果不懂得怎么部署安装hadoop,那么没关系,可以参考散仙的前几篇博客进行部署。

[/size][/color][/b]
[b][color=green][size=x-large]总结一下,总共需要这5步来完成,如一下截图(散仙的hadoop是直接root的根目录下的)

第一步
[/size][/color][/b]

[img]http://dl2.iteye.com/upload/attachment/0090/8404/2286f6a9-aa17-314d-8856-023cef141090.jpg[/img]
[b][color=green][size=x-large]第二步[/size][/color][/b]

[img]http://dl2.iteye.com/upload/attachment/0090/8406/f58fe0bb-59c3-3c92-a1de-039d1808a652.jpg[/img]
[b][color=green][size=x-large]第三步[/size][/color][/b]

[img]http://dl2.iteye.com/upload/attachment/0090/8408/eacf5808-83c3-321c-a422-61da8c0c8475.jpg[/img]
[b][color=green][size=x-large]第四步[/size][/color][/b]

[img]http://dl2.iteye.com/upload/attachment/0090/8412/5686d333-e532-3bf6-9d3d-d642376d7d10.jpg[/img]
[b][color=green][size=x-large]第五步[/size][/color][/b]

[img]http://dl2.iteye.com/upload/attachment/0090/8414/4f276a07-8d3b-3488-94ca-9fa6ae15efa3.jpg[/img]
[b][color=olive][size=x-large]下面是散仙进行测试的文本文件,内容截图如下:[/size]
[/color][/b]

[img]http://dl2.iteye.com/upload/attachment/0090/8416/bd5e64e8-432c-34b4-9e81-6c612220d3bc.jpg[/img]
[b][color=olive][size=x-large]向HDFS上上传测试文件[/size]
[/color][/b]

[img]http://dl2.iteye.com/upload/attachment/0090/8418/50378987-4c65-39b9-93d7-78b983b267c2.jpg[/img]

[b][color=olive][size=x-large]向Hadoop提交作业[/size]
[/color][/b]
[img]http://dl2.iteye.com/upload/attachment/0090/8420/e0ed97ff-aac9-3846-9b71-5e8593045e34.jpg[/img]

[b][color=olive][size=x-large]查看输出效果[/size][/color][/b]

[img]http://dl2.iteye.com/upload/attachment/0090/8422/0a383439-56d3-37fa-9609-8b1feb1a599b.jpg[/img]

[b][color=olive][size=x-large]网页上的输出效果[/size][/color][/b]
[img]http://dl2.iteye.com/upload/attachment/0090/8424/89d400d9-76ff-3a25-a7c0-267afff0457a.jpg[/img]

[b][color=green][size=x-large]至此,我们已经可以完美运行WordCount的例子了,注意几点第一,编译的路径不要写错。第二,在上传文件进行测试时候,一定要关闭防火墙,否则会报异常的,关闭命令service iptables stop 。[/size][/color][/b]
评论
添加红包

请填写红包祝福语或标题

红包个数最小为10个

红包金额最低5元

当前余额3.43前往充值 >
需支付:10.00
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明:

1.余额是钱包充值的虚拟货币,按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载,可以购买VIP、付费专栏及课程。

余额充值