hive java udf_如何在HadoopHive中使用UDF

UserDfinedFunction, 即Hive的自定义函数, 是一个合格数据分析师/工程师用好Hadoop Hive必备的工具之一, 否则就无法按照各种各样的业务需求去查取数据.

本文介绍了如何开发, 使用Hive UDF的过程, 希望对大家有帮助!

一. Java开发

1. 导入必要的jar包

hadoop-common-2.4.0.jar

hive-exec-0.13.1.jar

commons-math3-3.4.1.jar

2.需求

这里, 我想做一个依据字符串数组的第一个数字来排序的程序.

程序取"|"前的数字作key来排序(ASC)

样例输入:

"1|其他内容页,2|其他内容页,4|其他内容页,3|浪首"

样例输出:

"1|其他内容页,2|其他内容页,3|浪首,4|其他内容页"

3. package结构

package结构

4. UDF的evaluate方法的两个坑点

a. 需要自己写evaluate方法

eclipse中如果选择override methods是看不到evaluate方法的, 因此这里必须手动地写evaluate

b. evaluate方法不可以接受字符串数组(String[] strarr)这样的参数

evaluate可以接受String类型参数, 因此一般使用evaluate(String str)

5. 实现UDF的代码

NumberSorter.java

这个类中允许放一个main方法来做本机测试, 对放到hive上使用没有影响.

package com.sina.is;

import java.util.ArrayList;

import java.util.Collections;

import java.util.List;

import org.apache.hadoop.hive.ql.exec.UDF;

/**

* @author sina

* 取出list的每一个元素, 按照"|"分割, 分割后的part[0]作为排序的key, 来对整个list进行排序

* Xiaolong Chen

*/

public class NumberSorter extends UDF {

public List evaluate(String str) {

String[] strArr = str.split(",");

List list = new ArrayList();

for(int i =0;i

list.add(strArr[i]);

}

Collections.sort(list, new FirstNumComparator());

return list;

}

public static void main(String[] args) {

NumberSorter nsorter = new NumberSorter();

String str = "5|sss其他内容页面,1|哈哈,2|sina,9|北京";

System.out.println(nsorter.evaluate(str));

}

}

FirstNumComparator.java

这个类是用来提供compare比较函数给sort方法的.

package com.sina.is;

import java.util.Comparator;

public class FirstNumComparator implements Comparator {

@Override

//1, str1>str2;

//-1, str1

public int compare(String str1, String str2) {

// System.out.println(str1+","+str2);

int key1 = Integer.parseInt((str1.split("\\|"))[0]);

// System.out.println(key1);

int key2 = Integer.parseInt((str2.split("\\|"))[0]);

// System.out.println(key2);

if (key1

return -1;

} else if (key1>key2) {

return 1;

} else {

return 0;

}

}

}

二. 打jar包

eclipse中,

右键'导出' -> java/Jar文件 -> 选择好要导出的package, class -> 选择导出目标(JAR文件)中写path, 比如"C:\Users\sina\Desktop\myCollection\NumberSorter.jar"

-> 一直点下一步, 直到看到选择应用程序入口点的类, 这里一定要点浏览, 然后选择NumberSorter -> 点击完成, jar包就导出到了指定目标文件夹中.

选好入口

入口

三. 线上导入和运行

借助secureCRT登陆服务器后, 随后执行如下三步

1. 上传和添加jar包到Hive

在shell中输入rz, 然后上传NumberSorter.jar

上传完后可以ls -l, 看一下到底上传成功没.

然后, 输入hive进入hive系统, 输入add jar /usr/home/lixuan5/NumberSorter.jar;, 记得别忘了结尾的分号.

2. 建立临时函数

输入create temporary function numbersorter as 'com.sina.is.NumberSorter';

其中, numbersorter代表之后在hive中要调用的函数名. (Hive不区分大小写, 因此函数名全小写即可)

这步做完后, 可以在hive中输入show functions;来检查自己的函数是否在hive的函数列表中.

3. 调用自定义函数

执行如下SQL语句

select numbersorter('1|其他内容页,2|其他内容页,4|其他内容页,3|浪首') from dual;

其中, dual是一个伪表, 并没有实际数据, 只是放在这里占位置来满足语法的.

真正的输入是函数括号中的String: '1|其他内容页,2|其他内容页,4|其他内容页,3|浪首',

输出是: ["1|其他内容页","2|其他内容页","3|浪首","4|其他内容页"] , 如图

结果

END.