- 博客(3)
- 收藏
- 关注
RSS订阅原创 如何获取hadoop mapreduce job运行信息
需要获取mapreduce的运行信息,比如运行状态,map,reduce的执行进度. hadoop 50030端口提供web ui服务,没找到提供json或者xml的服务方式. 于是,查找hadoop 50030的加载: \org\apache\hadoop\mapred\JobTracker.java: JobTracker(final JobConf conf, String iden...
2013-06-27 17:06:58
559
原创 hadoop mr数据流总结
hadoop mr数据流 [code="java"]/* 符注: ()内为数据;[]内为处理; {}内为框架模块; ()数据若无说明则为在内存; ->本机数据流;=>网络数据流;~>分布式-本地读写数据流; /**/为标注; */ (分布式源文件)~>{JobTracker分配到各TaskTracker本机上}=> -------------------------------...
2013-06-17 14:21:23
147
原创 hive -- java.io.IOException: Cannot create an instance of InputSplit
hive中执行： select * from ht_custmer; 没问题； 执行： select * from ht_customer where buycount>10; 报错： java.io.IOException: Cannot create an instance of InputSplit class = org.apache.hadoop.hive.hbase.HBa...
2013-04-09 15:20:05
486
空空如也
空空如也
TA创建的收藏夹 TA关注的收藏夹
TA关注的人