- 博客(3)
- 资源 (2)
- 收藏
- 关注
RSS订阅转载 Hadoop中map数的计算
Hadoop中在计算一个JOB需要的map数之前首先要计算分片的大小。计算分片大小的公式是：goalSize = totalSize / mapred.map.tasksminSize = max {mapred.min.split.size, minSplitSize}splitSize = max (minSize, min(goalSize, dfs.bl
2014-01-23 11:42:26
668
转载 hive 0.10 0.11新增特性综述
我们的hive版本升迁经历了0.7.1 -> 0.8.1 -> 0.9.0，并且线上shark所依赖的hive版本也停留在0.9.0上，在这些版本上有我们自己的bug fix patch和feature enhancement。但是Hive的版本升级很快，新版本中修复了大量bug，新增了很多功能，非常令人兴奋，其中包括对未来hadoop升级为YARN的支持。所以我们准备将hive版本升级为0.11
2014-01-08 15:05:10
733
原创 hive的overwrite
这几天有个朋友问我 hive的overwrite是怎么执行重写，假如重写执行到一半报错，会不会导致丢失数据呢？一开始没有反应过来，后来想想，其实这个可以从 explain 上看到的。hive (temp)> explain insert overwrite table ods.ods_memberext_dd select * from temp.lhc_memberext_2013092
2014-01-08 11:52:09
3744
空空如也
TA创建的收藏夹 TA关注的收藏夹
TA关注的人