- 博客(2)
- 收藏
- 关注
RSS订阅原创 hiveSQL优化
hiveSQL优化 数据去重使用group by代替distinct，禁止使用count(distinct); 原因：group by 中会先使用sort方法进行排序，空间复杂度小，缺点是要进行一次排序，执行时间会较长 distinct 中需要将排序的列全部存储到一个内存中可以理解为一个hash结构，最后再hash中计算多少个key， 将不同的值存起来，内存消耗较大 分区表使用时where...
2019-11-01 16:00:50
273
原创 hive的踩坑经验1
hive的踩坑经验1 一、hive表中新增字段或者修改字段时，需要使用cascade方式，否则新增字段，回刷数据还是存在为null的情况。 解决方案一： 1、ALTER TABLE tablename ADD COLUMNS (is_delete int COMMENT ‘是否进行删除的标记字段’) cascade; 然后回刷数据即可。 解决方案二: 2、ALTER TABLE tablename...
2019-11-01 15:59:53
439
空空如也
空空如也
TA创建的收藏夹 TA关注的收藏夹
TA关注的人