云计算
文章平均质量分 78
andyelvis
性格开朗,爱好篮球、足球、流行音乐
展开
-
hadoop-*-streaming.jar源码浅析
Main-Class为HadoopStreaming,主函数:public static void main(String[] args) throws Exception { int returnStatus = 0; StreamJob job =原创 2011-09-18 17:53:38 · 3503 阅读 · 1 评论 -
Hadoop中一些采样器的实现
Hadoop中采样是由org.apache.hadoop.mapred.lib.InputSampler类来实现的。InputSampler类实现了三种采样方法:SplitSampler、RandomSampler和IntervalSampler。SplitSampler、RandomSampler和IntervalSampler都是InputSampler的静态内部类,它们都实现原创 2012-02-26 08:54:03 · 5963 阅读 · 0 评论 -
Hadoop源码浅析——Job提交相关
Configuration类是用来访问hadoop的配置参数的。Configuration类首先会通过静态代码段加载hadoop的配置文件core-default.xml和和core-site.xml,相关代码如下:static{ //print deprecation warning if hadoop-site.xml is found in classpath C原创 2012-07-01 10:16:10 · 10175 阅读 · 2 评论