weixin_45619042的博客

原创 Hive处理非等值运行不出来结果问题

排查结果：Hive底层是MapReduce计算，对于非等值的连接以及计算异常复杂，甚至无法连接优化，有效使用索引。（注Hive3版本之前有索引但是无法直接使用非等值条件，3版本之后可以使用非等值条件，但是无法建索引）背景：A表（每日增量两亿起）有字段ip等，B表（全量两千五，将块拆开39位数字）有字段minip和maxip，country等。需要A表joinB表，条件就是ip>=minip and ip<=maxip。过程：将A小表加载到本地运行，以及修改字段为int，分区，分桶，谓词下推解决都不行。