使用Hive中自定义UDAF函数实现统计区域产品用户访问排名

UDAF实现方法: 
1，用户的UDAF必须继承了org.apache.hadoop.hive.ql.exec.UDAF；
2，用户的UDAF必须包含至少一个实现了org.apache.hadoop.hive.ql.exec的静态类，诸如实现了 UDAFEvaluator 
3，一个计算函数必须实现的5个方法的具体含义如下：
init()：主要是负责初始化计算函数并且重设其内部状态，一般就是重设其内部字段。一般在静态类中定义一个内部字段来存放最终的结果。
iterate()：每一次对一个新值进行聚集计算时候都会调用该方法，计算函数会根据聚集计算结果更新内部状态。当输 入值合法或者正确计算了，则       就返回true。
terminatePartial()：Hive需要部分聚集结果的时候会调用该方法，必须要返回一个封装了聚集计算当前状态的对象。
merge()：Hive进行合并一个部分聚集和另一个部分聚集的时候会调用该方法。
terminate()：Hive最终聚集结果的时候就会调用该方法。计算函数需要把状态作为一个值返回给用户。

mapreduce阶段调用函数 
MAP 
init() 
iterate() 
terminatePartial()

Combiner 
merge() 
terminatePartial()

REDUCE 
init() 
merge() 
terminate()

一、自定义UDAF函数
点击( 此处 )折叠或打开

1. package hive.org.ruozedata;
   
2. 
   
3. import java.util.*;
   
4. 
   
5. import org.apache.hadoop.hive.ql.exec.UDAF;
   
6. import org.apache.hadoop.hive.ql.exec.UDAFEvaluator;
   
7. import org.apache.log4j.Logger;
   
8. 
   
9.     public class UserClickUDAF extends UDAF {
   
10. 
    
11.     // 日志对象初始化
    
12.     public static Logger logger = Logger.getLogger(UserClickUDAF.class);
    
13. 
    
14.     // 静态类实现UDAFEvaluator
    
15.     public static class Evaluator implements UDAFEvaluator {
    
16.         // 设置成员变量，存储每个统计范围内的总记录数
    
17.         private static Map<String, String> courseScoreMap;
    
18. 
    
19.         private static Map<String, String> city_info;
    
20.         private static Map<String, String> product_info;
    
21.         private static Map<String, String> user_click;
    
22. 
    
23.         //初始化函数,map和reduce均会执行该函数,起到初始化所需要的变量的作用
    
24.         public Evaluator() {
    
25.             init();
    
26.         }
    
27. 
    
28.         // 初始化函数间传递的中间变量
    
29.         public void init() {
    
30.             courseScoreMap = new HashMap<String, String>();
    
31.             city_info = new HashMap<String, String>();
    
32.             product_info = new HashMap<String, String>();
    
33.        }
    
34. 
    
35.         //map阶段，返回值为boolean类型，当为true则程序继续执行，当为false则程序退出
    
36.         public boolean iterate(String pcid, String pcname, String pccount) {
    
37.             if (pcid == null || pcname == null || pccount == null) {
    
38.                 return true;
    
39.             }
    
40. 
    
41.             if (pccount.equals("-1")) {
    
42.                 // 城市表
    
43.                 city_info.put(pcid, pcname);
    
44.             }
    
45.             else if (pccount.equals("-2")) {
    
46.                 // 产品表
    
47.                 product_info.put(pcid, pcname);
    
48.             }
    
49.             else
    
50.             {
    
51.                 // 处理用户点击关联
    
52.                 unionCity_Prod_UserClic1(pcid, pcname, pccount);
    
53.            }
    
54.             return true;
    
55.         }
    
56. 
    
57.         // 处理用户点击关联
    
58.         private void unionCity_Prod_UserClic1(String pcid, String pcname, String pccount) {
    
59.             if (product_info.containsKey(pcid)) {
    
60.                 if (city_info.containsKey(pcname)) {
    
61.                     String city_name = city_info.get(pcname);
    
62.                     String prod_name = product_info.get(pcid);
    
63.                     String cp_name = city_name + prod_name;
    
64. 
    
65.                     // 如果之前已经Put过Key值为区域信息，则把记录相加处理
    
66.                     if (courseScoreMap.containsKey(cp_name)) {
    
67.                         int pcrn = 0;
    
68.                         String strTemp = courseScoreMap.get(cp_name);
    
69.                         String courseScoreMap_pn = strTemp.substring(strTemp.lastIndexOf("\t".toString())).trim();
    
70.                         pcrn = Integer.parseInt(pccount) + Integer.parseInt(courseScoreMap_pn);
    
71. 
    
72.                         courseScoreMap.put(cp_name, city_name + "\t" + prod_name + "\t" + Integer.toString(pcrn));
    
73.                     }
    
74.                     else {
    
75.                         courseScoreMap.put(cp_name, city_name + "\t" + prod_name + "\t" + pccount);
    
76.                     }
    
77.                 }
    
78.             }
    
79.         }
    
80. 
    
81.         /**
    
82.          * 类似于combiner,在map范围内做部分聚合，将结果传给merge函数中的形参mapOutput
    
83.          * 如果需要聚合，则对iterator返回的结果处理，否则直接返回iterator的结果即可
    
84.          */
    
85.         public Map<String, String> terminatePartial() {
    
86.             return courseScoreMap;
    
87.         }
    
88. 
    
89.         // reduce 阶段，用于逐个迭代处理map当中每个不同key对应的 terminatePartial的结果
    
90.         public boolean merge(Map<String, String> mapOutput) {
    
91.             this.courseScoreMap.putAll(mapOutput);
    
92.             return true;
    
93.         }
    
94.         // 处理merge计算完成后的结果，即对merge完成后的结果做最后的业务处理
    
95.         public String terminate() {
    
96.             return courseScoreMap.toString();
    
97.         }
    
98.     }
    
99. }

二、使用添加Jar包与Hive中临时函数
点击( 此处 )折叠或打开

1. DROP TEMPORARY FUNCTION user_click;
   
2. 
   
3. add jar /data/hive_udf-1.0.jar;
   
4. 
   
5. CREATE TEMPORARY FUNCTION user_click AS 'hive.org.ruozedata.UserClickUDAF';

三、 调用自定义UDAF函数处理数据

点击(此处)折叠或打开

1. insert overwrite directory '/works/tmp1' ROW FORMAT DELIMITED FIELDS TERMINATED BY '\t'
   
2. select regexp_replace(substring(rs, instr(rs, '=')+1), '}', '') from (
   
3.   select explode(split(user_click(pcid, pcname, type),',')) as rs from (
   
4.     select * from (
   
5.       select '-2' as type, product_id as pcid, product_name as pcname from product_info
   
6.       union all
   
7.       select '-1' as type, city_id as pcid,area as pcname from city_info
   
8.       union all
   
9.       select count(1) as type,
   
10.              product_id as pcid,
    
11.              city_id as pcname
    
12.         from user_click
    
13.        where action_time='2016-05-05'
    
14.       group by product_id,city_id
    
15.     ) a
    
16.   order by type) b
    
17. ) c

四、 创建Hive临时外部表

点击(此处)折叠或打开

1. create external table tmp1(
   
2. city_name string,
   
3. product_name string,
   
4. rn string
   
5. )
   
6. ROW FORMAT DELIMITED FIELDS TERMINATED BY '\t'
   
7. location '/works/tmp1';

五、 -统计最终区域前3产品排名

点击(此处)折叠或打开

1. select * from (
   
2. select city_name,
   
3.        product_name,
   
4.        floor(sum(rn)) visit_num,
   
5.        row_number()over(partition by city_name order by sum(rn) desc) rn,
   
6.        '2016-05-05' action_time
   
7.   from tmp1
   
8.  group by city_name,product_name
   
9. ) a where rn <=3

六、统计结果


此方法可能不会很好，但最少可以起到一定的抛砖引玉的功效。希望大家不吝赐教！


若泽大数据交流群：671914634

来自 “ ITPUB博客 ” ，链接：http://blog.itpub.net/31511218/viewspace-2150561/，如需转载，请注明出处，否则将追究法律责任。

转载于:http://blog.itpub.net/31511218/viewspace-2150561/