今天编写的脚本里有个根据某个字段进行rownum分组的需求。在oracle这个用分析函数row_number() over,能很轻松搞定,hive里就麻烦了。
导入udf函数
结果出来了,很理想
模拟的表结构如下:
user_id buy_num rownum
1 30 1
1 20 2
1 10 3
2 50 1
2 20 2
其中rownum就是我们要生成的。
第一反应肯定是用UDF写一个自定义函数,网上搜了下,解决方案还是蛮多的
在eclipse里建一个工程,把hive里面的jar包导进去,
代码扔进去,打个jar包出来。很简单,具体使用可以参考我之前的博文。
创建表:
![HIVE迁移的点点滴滴(二)--rownum分组 - scjthree - 亚存的博客 HIVE迁移的点点滴滴(二)--rownum分组 - scjthree - 亚存的博客](http://img1.ph.126.net/X29CQSs8pHXx5U5vKgw7lg==/6597687692193237502.jpg)
数据导入:
![HIVE迁移的点点滴滴(二)--rownum分组 - scjthree - 亚存的博客 HIVE迁移的点点滴滴(二)--rownum分组 - scjthree - 亚存的博客](http://img2.ph.126.net/M8knApbgiUmuwvhpmcfC6A==/1805380500722259404.jpg)
![HIVE迁移的点点滴滴(二)--rownum分组 - scjthree - 亚存的博客 HIVE迁移的点点滴滴(二)--rownum分组 - scjthree - 亚存的博客](http://img0.ph.126.net/AToCtFALdLwGzM8BMZ2i9Q==/6597862514542059330.jpg)
![HIVE迁移的点点滴滴(二)--rownum分组 - scjthree - 亚存的博客 HIVE迁移的点点滴滴(二)--rownum分组 - scjthree - 亚存的博客](http://img0.ph.126.net/AQZH7ujsy0oRTkbLr6EdYg==/6597616223937433359.jpg)
不过网上说,当多个map运行时就会出问题。这是显然的,因为静态变量rownum木有被多个map共享嘛。现在测试中数据不多,只用了1个map还没出现这种情况。