- 博客(3)
- 收藏
- 关注
原创 如何获取hadoop mapreduce job运行信息
需要获取mapreduce的运行信息,比如运行状态,map,reduce的执行进度.hadoop 50030端口提供web ui服务,没找到提供json或者xml的服务方式.于是,查找hadoop 50030的加载:\org\apache\hadoop\mapred\JobTracker.java:JobTracker(final JobConf conf, String iden...
2013-06-27 17:06:58 575
原创 hadoop mr数据流总结
hadoop mr数据流[code="java"]/*符注:()内为数据;[]内为处理;{}内为框架模块;()数据若无说明则为在内存;->本机数据流;=>网络数据流;~>分布式-本地读写数据流;/**/为标注;*/(分布式源文件)~>{JobTracker分配到各TaskTracker本机上}=>-------------------------------...
2013-06-17 14:21:23 158
原创 hive -- java.io.IOException: Cannot create an instance of InputSplit
hive中执行:select * from ht_custmer; 没问题;执行:select * from ht_customer where buycount>10;报错:java.io.IOException: Cannot create an instance of InputSplit class = org.apache.hadoop.hive.hbase.HBa...
2013-04-09 15:20:05 499
空空如也
空空如也
TA创建的收藏夹 TA关注的收藏夹
TA关注的人