- 博客(2)
- 收藏
- 关注
RSS订阅原创 HBase优化
HBase优化Rowkey 设计原则hive与hbase之间的区别优化一、写入数据方面二、读数据方面三、数据及集群管理 Rowkey 设计原则 Rowkey长度原则： Rowkey 是一个二进制码流，Rowkey 的长度被很多开发者建议说设计在10~100 个字节，不过建议是越短越好，不要超过 16 个字节。 ① 数据的持久化文件 HFile 中是按照 KeyValue 存储的，如果 Rowkey 过长比如 100 个字节，1000 万列数据光 Rowkey 就要占用 100*1000 万=10 亿个
2021-12-19 12:50:38
98
原创 Hive优化
1）MapJoin 如果不指定MapJoin或者不符合MapJoin的条件，那么Hive解析器会将Join操作转换成Common Join，即：在Reduce阶段完成join。容易发生数据倾斜。可以用MapJoin把小表全部加载到内存在map端进行join，避免reducer处理。 2）行列过滤 列处理：在SELECT中，只拿需要的列，如果有，尽量使用分区过滤，少用SELECT *。 行处理：在分区剪裁中，当使用外关联时，如果将副表的过滤条件写在Where后面，那么就会先全表关联，之后再过滤。 3）列式存储
2021-12-09 20:38:35
92
空空如也
空空如也
TA创建的收藏夹 TA关注的收藏夹
TA关注的人