Hive UDF 实验1

项目中使用的hive版本低于0.11，无法使用hive在0.11中新加的开窗分析函数。


在项目中需要使用到row_number()函数的地方，有人写了udf来实现这个功能。


new java project, BuildPath add hadoop-core..jar and hive-exec…jar。


1
2
3
4
5
6
7
8
9
10
11
12
13
14
15
16
17
18
19
20
21
22
package myudf;
 
import java.util.Arrays;
 
import org.apache.hadoop.hive.ql.exec.UDF;
 
public final class rank extends UDF {
    private int counter;
 
    private String[] _paras = null;
 
    public int evaluate(String... paras) {
        if (_paras != null && Arrays.equals(_paras, paras)) {
            this.counter++;
        }else {
            this.counter = 1;
            _paras = paras;
        }
        return this.counter;
    }
 
}
创建辅助表的数据文件：


1
2
3
4
5
6
i=0;
while [ $i -ne 1000 ]
do
echo -e"$i" >>nums.txt;
i=$(($i +1));
done
这个数字辅助表在辅助生成数据时比较有用。


在hive中创建nums表并加载刚才创建的示例数据；


1
2
hive -e "create table nums(num int) row format delimited stored as textfile;"
hive -e "load data local inpath '/home/hadoop/data/nums.txt' overwrite into table nums;"
使用辅助表生成数据：


1
2
3
4
5
6
7
8
9
10
11
hive -e "create table myaccount as select 'account1' as account, 'evan' as maker, rand()*10000 as trans_amount from nums a join nums b;"
 
insert overwrite  table myaccount 
select a.*
from myaccount a
join
(select * from nums where num <10) b;
--checkfile has how many blocks
insert overwrite  table myaccount 
select a.*
from myaccount a order by account,maker;
这样这个表的数据大概有三百M左右了。


默认情况下使用hive跑就要使用2个maper来处理了。


把刚才的java project打包并上传到HDFS 以供hive使用,


1
2
3
4
hadoop fs -mkdir /user/hive/warehouse/udf/;
hadoop fs -copyFromLocal /home/hadoop/jar/myhiveudf.jar/user/hive/warehouse/udf/;
add jar  hdfs:/user/hive/warehouse/udf/myhiveudf.jar;
create temporary function myrank as "myudf.rank";
使用hive的udf进行数据测试：


create table myaccountrank as select account,maker,trans_amount,myrank(account,maker) as rank1 from myaccount;


按我们的数据情况来看，我们想要的结果是max(rank1)=1000000;但是实际结果却是：8348163；


原因是在执行create table的时候，使用了两个mapper去处理结果，这样相同的account 和 maker 被拆分给两个map task去处理，这样算出来的结果就是有问题的。


问题是hive udf是如何确定执行在map phase还是reduce phase呢？