Hive
TinlokLee
这个作者很懒,什么都没留下…
展开
-
UDF开发入门(python udf、hive udf)
开发前的声明 udf开发是在数据分析的时候如果内置的函数解析不了的情况下去做的开发,比方说你...转载 2020-02-17 14:41:26 · 2053 阅读 · 0 评论 -
Hive 优化之 union all 与 multi insert
对同一张表的union all 要比多重insert快的多, 原因是hive本身对这种union all做过优化,即只扫描一次源表;而多重insert也只扫描一次,但应为要insert到多个分区,所以做了很多其他的事情,导致消耗的时间非常长; 希望大家在开发的时候多测,多试! lxw_test3 12亿左右记录数 Union all : 耗时7分钟左右 USE dm...原创 2019-09-05 19:56:17 · 3425 阅读 · 0 评论