- 博客(2)
- 资源 (1)
- 问答 (1)
- 收藏
- 关注
原创 hello hbase
前言近半年本人主要在倒腾数据,遇到海量数据去重的难题,曾经尝试过各种hivesql,然而随着数据量逐渐增大,处理耗时也越来越长,各种方案一一破产。2012年11月份提过使用HBase唯一主键的方案,随即做了相关预研(参看hive&hbase解决方案测评)。该方案由于HBase转化成hive表性能问题而搁浅。但在测评报告最后的总结中提到:或许我们可以选择数据“冷热”、以及部分字段切表来优化。...
2013-04-22 17:57:31 174
想换个iteye空间背景,楞是没找到在哪设置
2012-10-31
TA创建的收藏夹 TA关注的收藏夹
TA关注的人