我们都知道split切分完之后返回的是数组,我们再将数组进行遍历拿出。
需求:说明自定义一个 UDTF 实现将一个任意分割符的字符串切割成独立的单词,例如:
Line:"hello,world,hadoop,hive"
Myudtf(line, ",")
hello
world
hadoop
hive
代码:
package com.fengrui.udtf;
import org.apache.hadoop.hive.ql.exec.UDFArgumentException;
import org.apache.hadoop.hive.ql.metadata.HiveException;
import org.apache.hadoop.hive.ql.udf.generic.GenericUDTF;
import org.apache.hadoop.hive.serde2.objectinspector.ObjectInspector;
import org.apache.hadoop.hive.serde2.objectinspector.ObjectInspectorFactory;
import org.apache.hadoop.hive.serde2.objectinspector.StructObjectInspector;
import org.apache.hadoop.hive.serde2.objectinspector.primitive.PrimitiveObjectInspectorFactory;
import java.util.ArrayList;
import java.util.List;
/**
* 需求说明自定义一个 UDTF 实现将一个任意分割符的字符串切割成独立的单词,例如:
* Line:"hello,world,hadoop,hive"
*
* Myudtf(line, ",")
* hello
* world
* hadoop
* hive
*/
public class MyUDTF extends GenericUDTF {
private List<String> dataList = new ArrayList();
/**
* 初始化方法
* @param argOIs
* @return
* @throws UDFArgumentException
*/
@Override
public StructObjectInspector initialize(StructObjectInspector argOIs) throws UDFArgumentException {
//定义输出类型的列名
List<String> fieldNames = new ArrayList<String>();
//一般我们都是取别名了把列,所以这个不影响,比如select split(****) s;如果我们不取别名默认就是words
fieldNames.add("words");
//定义输出数据的类型,如果是int就为javaIntObjectInspector
List<ObjectInspector> fieldOIs = new ArrayList<ObjectInspector>();
fieldOIs.add(PrimitiveObjectInspectorFactory.javaStringObjectInspector);
return ObjectInspectorFactory.getStandardStructObjectInspector(fieldNames,fieldOIs);
}
/**
* 核心方法,写业务逻辑
* @param args
* @throws HiveException
*/
public void process(Object[] args) throws HiveException {
//1.获取数据
String data = args[0].toString();
//2.获取分隔符
String splitKey = args[1].toString();
//3.切分数据
String[] words = data.split(splitKey);
//4.遍历写出
for (String word : words) {
//因为我们输入类型为集合,所以我们输出的类型也得是集合,所以我们new一个全局集合
//因为集合要复用,每一行进来处理完 清空集合 以后处理下一行
dataList.clear();
dataList.add(word);
//5.写出操作,系统自带的,相当于map阶段写出时的context.write()
forward(dataList);
}
}
/**
* 如果有用到IO流,可以在该方法中关闭
* @throws HiveException
*/
public void close() throws HiveException {
}
}
打成jar包放到Linux服务器 /root/Jar_File/myhive/hive-1.0-SNAPSHOT.jar
将jar包添加到hive的classpath
hive (default)> add jar /root/Jar_File/myhive/hive-1.0-SNAPSHOT.jar;
创建临时函数与开发好的Javaclass关联
hive (default)> create temporary function qiefen as 'com.fengrui.udtf.MyUDTF';
在sql中使用自定义函数
hive (default)> select qiefen('hello/word/hello/java/hello/hadoop','/');
我们看到我们没有给列名取别名的时候是默认代码中添加的words
列名取别名
hive (default)> select qiefen('hello/word/hello/java/hello/hadoop','/') new_words;