mapred
文章平均质量分 75
tomson8975
这个作者很懒,什么都没留下…
展开
-
MapReduce作业内调度研究
这篇文章主要介绍在作业内,Map,reduce是怎样调度的,Map,Reduce的生命周期是什么样,分配优先级和抢占策略等。原创 2015-08-08 21:35:03 · 369 阅读 · 0 评论 -
Hadoop Streaming使用简介
示例: $HADOOP_HOME/bin/hadoop jar $HADOOP_HOME/hadoop-streaming.jar \ -input myInputDirs \ -output myOutputDir \ -mapper org.apache.hadoop.mapred.lib.IdentityMapper \ -reducer /bin/wc原创 2015-10-28 10:29:09 · 323 阅读 · 0 评论 -
MapRed程序map个数控制分析
前言: 我们在线上跑的MapRed程序和Hive程序,Map数到底怎么控制?这个问题一直比较模糊,这次有机会深入代码里面去看,才了解到其实MapReduce针对不同输入格式有不同的判断文件大小的规则以及文件切片和合并的方式。下面就来具体了解一下FileInputFormat和CompositeInputFormat两种主流输入格式的处理细节。 首先在这里提一下MapRe原创 2015-10-28 10:31:51 · 3304 阅读 · 0 评论 -
Tez不能找到压缩类问题
为提高程序处理效率添加了 set mapreduce.map.output.compress=true; set mapreduce.map.output.compress.codec=org.apache.hadoop.io.compress.SnappyCodec; 这样会导致tez程序报错,具体错误如下: TaskAttempt 3 failed, info=[Error: F原创 2016-07-29 14:02:22 · 1651 阅读 · 0 评论