HIVE UDF函数使用

下面来说说hive的UDF函数使用：

以下是实现类似mysql的date_format的功能UDFjava代码：

package com.hadoopbook.hive;
 
import java.text.ParseException;
import java.text.SimpleDateFormat;
import java.util.Date;

import org.apache.hadoop.hive.ql.exec.UDF;
import org.apache.hadoop.io.Text;
public class DATE_FORMAT extends UDF {
  private Text result = new Text();
    
  public Text evaluate(Text str, String stripChars) {
    if (str == null||stripChars ==null) {
      return null;
    }
 
    try {
        SimpleDateFormat sdf=new SimpleDateFormat(stripChars);
        Date date = sdf.parse(str.toString());
        String c=sdf.format(date);
        result.set(c);
    } catch (ParseException e) {
        // TODO Auto-generated catch block
        e.printStackTrace();
    }
    return result;
  }
  
}

然后就是把java代码export出来打包成jar文件。

把jar拷贝到hive所在的机器中：

在hive的客户端依次输入：

ADD JAR /home/test/udf.jar;

CREATE TEMPORARY FUNCTION DATE_FORMAT as 'com.hadoopbook.hive.DATE_FORMAT';

CREATE TEMPORARY FUNCTION SUBSTRING_INDEX as 'com.hadoopbook.hive.SUBSTRING_INDEX';

insert into table t_bz partition(dt)   
select LogId,CreateTime,dt  from t_bz_tmp  where  (dt = DATE_FORMAT(CreateTime,'yyyy-MM-dd'));