web工程调用hadoop集群2

上次使用java工程调用hadoop集群成功后,可以使用web工程来调用hadoop集群,web工程在下面页面下载:http://download.csdn.net/detail/fansy1990/5361645

今次的例子还是word count程序,实现的思路大概是:

1、输入、出路径界面,供用户输入,如下:


2、用户点击提交后,程序提交到一个jsp页面,取得参数,并采用Thread调用hadoop集群运行任务;

3、调用hadoop集群运行任务后,直接跳转到另外一个jsp页面,用于不断更新map和reduce的运行状态;

总结:虽然做出来了,但是在显示map和reduce运行状态的时候后台老是显示这个错误:

13/05/12 15:27:58 INFO mapred.JobClient:  map 55% reduce 11%
13/05/12 15:27:58 WARN mapred.JobClient: Use GenericOptionsParser for parsing the arguments. Applications should implement Tool for the same.
13/05/12 15:27:58 WARN mapred.JobClient: No job jar file set.  User classes may not be found. See JobConf(Class) or JobConf#setJar(String).
13/05/12 15:27:58 INFO mapred.JobClient: Cleaning up the staging area hdfs://hadoop:9000/home/hadoop/hadooptmp/mapred/staging/Administrator/.staging/job_201305101805_0148
13/05/12 15:27:58 ERROR security.UserGroupInformation: PriviledgedActionException as:Administrator cause:org.apache.hadoop.mapred.FileAlreadyExistsException: Output directory hdfs://hadoop:9000/user/hadoop/output already exists
org.apache.hadoop.mapred.FileAlreadyExistsException: Output directory hdfs://hadoop:9000/user/hadoop/output already exists

暂时不知道原因。以前碰到这个问题是因为运行任务时,HDFS文件系统上面已经有这个文件夹了,但是这里只是显示map和reduce运行状态,并没有提交任务。或者可能是我采用的显示map和reduce状态的方法会去检查HDFS?


分享,快乐,成长


转载请注明出处:http://blog.csdn.net/fansy1990


评论
添加红包

请填写红包祝福语或标题

红包个数最小为10个

红包金额最低5元

当前余额3.43前往充值 >
需支付:10.00
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明:

1.余额是钱包充值的虚拟货币,按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载,可以购买VIP、付费专栏及课程。

余额充值