web工程调用hadoop集群2

最新推荐文章于 2022-05-25 11:34:04 发布

iteye_12675

最新推荐文章于 2022-05-25 11:34:04 发布

阅读量142

点赞数

文章标签：大数据

上次使用java工程调用hadoop集群成功后，可以使用web工程来调用hadoop集群，web工程在下面页面下载：http://download.csdn.net/detail/fansy1990/5361645。

今次的例子还是word count程序，实现的思路大概是：

1、输入、出路径界面，供用户输入，如下：

2、用户点击提交后，程序提交到一个jsp页面，取得参数，并采用Thread调用hadoop集群运行任务；

3、调用hadoop集群运行任务后，直接跳转到另外一个jsp页面，用于不断更新map和reduce的运行状态；

总结：虽然做出来了，但是在显示map和reduce运行状态的时候后台老是显示这个错误：

13/05/12 15:27:58 INFO mapred.JobClient:  map 55% reduce 11%
13/05/12 15:27:58 WARN mapred.JobClient: Use GenericOptionsParser for parsing the arguments. Applications should implement Tool for the same.
13/05/12 15:27:58 WARN mapred.JobClient: No job jar file set.  User classes may not be found. See JobConf(Class) or JobConf#setJar(String).
13/05/12 15:27:58 INFO mapred.JobClient: Cleaning up the staging area hdfs://hadoop:9000/home/hadoop/hadooptmp/mapred/staging/Administrator/.staging/job_201305101805_0148
13/05/12 15:27:58 ERROR security.UserGroupInformation: PriviledgedActionException as:Administrator cause:org.apache.hadoop.mapred.FileAlreadyExistsException: Output directory hdfs://hadoop:9000/user/hadoop/output already exists
org.apache.hadoop.mapred.FileAlreadyExistsException: Output directory hdfs://hadoop:9000/user/hadoop/output already exists

暂时不知道原因。以前碰到这个问题是因为运行任务时，HDFS文件系统上面已经有这个文件夹了，但是这里只是显示map和reduce运行状态，并没有提交任务。或者可能是我采用的显示map和reduce状态的方法会去检查HDFS？

分享，快乐，成长

转载请注明出处：http://blog.csdn.net/fansy1990