- 博客(3)
- 资源 (2)
- 收藏
- 关注
转载 Hadoop中map数的计算
Hadoop中在计算一个JOB需要的map数之前首先要计算分片的大小。计算分片大小的公式是:goalSize = totalSize / mapred.map.tasksminSize = max {mapred.min.split.size, minSplitSize}splitSize = max (minSize, min(goalSize, dfs.bl
2014-01-23 11:42:26 668
转载 hive 0.10 0.11新增特性综述
我们的hive版本升迁经历了0.7.1 -> 0.8.1 -> 0.9.0,并且线上shark所依赖的hive版本也停留在0.9.0上,在这些版本上有我们自己的bug fix patch和feature enhancement。但是Hive的版本升级很快,新版本中修复了大量bug,新增了很多功能,非常令人兴奋,其中包括对未来hadoop升级为YARN的支持。所以我们准备将hive版本升级为0.11
2014-01-08 15:05:10 733
原创 hive的overwrite
这几天有个朋友问我 hive的overwrite是怎么执行重写,假如重写执行到一半报错,会不会导致丢失数据呢?一开始没有反应过来,后来想想,其实这个可以从 explain 上看到的。hive (temp)> explain insert overwrite table ods.ods_memberext_dd select * from temp.lhc_memberext_2013092
2014-01-08 11:52:09 3744
空空如也
TA创建的收藏夹 TA关注的收藏夹
TA关注的人