.带索引的mapReduce

带索引的mapReduce         之前我们跑mapreduce,对某些维度进行统计,都是暴利方式的遍历,有些时候,我们仅仅想扫描原始数据的一部分,或者仅仅是其中的一列,这些数据可能仅仅是原始数据的十分之一,百分之一,那么暴利扫描太不可取了。         回想下我们之前...

2012-11-07 12:44:05

阅读数:1295

评论数:0

带索引的HIVE

hive的查询跟普通的hadoop mapreduce没有什么大的区别,都是对原始数据的暴力扫描,如果能够像数据库那样,使用索引,那么数据扫描的速度将会大幅度提升 上次在mapreduce上使用了索引,具体参见下面这个链接 http://user.qzone.qq.com/165162897/...

2012-11-07 12:42:13

阅读数:4757

评论数:1

提示
确定要删除当前文章?
取消 删除
关闭
关闭