hive开发遇到的一些坑

遇到的问题：

1. 数据倾斜，程序运行非常缓慢，长时间停顿。（大表数据量500多万，小表数据量仅180条），两个表关联， 数据严重倾斜。

版本1：

select 

 '' as id,

 f1.apply_id,

 f1.number,

 f1.rule_name, 

 a.apply_time,

 

from (

 select  

    f1.apply_id,

    get_json_obj(f1.details,'data[0].规则列表[0].规则详情[0].个数') as number,

    get_json_obj(f1.details,'data[0].规则列表[0].规则名称