Hive自定义函数

最新推荐文章于 2024-07-16 10:50:48 发布
最新推荐文章于 2024-07-16 10:50:48 发布
阅读量1.4k 收藏 2
点赞数
分类专栏： hive 文章标签： hive 函数
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/u010521842/article/details/78123093
版权

Hive自定义函数

1 UDF

用户自定义函数(user defined function)针对单条记录。

1.1 创建函数流程

  1. 添加pom依赖
  2. 自定义一个java类
  3. 继承UDF类
  4. 重写evaluate方法
  5. 打成jar包
  6. 在hive中执行add jar方法
  7. 在hive执行创建模板函数

1.2 实例一

第一步、添加依赖

<?xml version="1.0" encoding="UTF-8"?>
    <dependencies>
        <dependency>
            <groupId>org.apache.hive</groupId>
            <artifactId>hive-exec</artifactId>
            <version>2.1.0</version>
        </dependency>
        <dependency>
            <groupId>junit</groupId>
            <artifactId>junit</artifactId>
            <version>4.11</version>
        </dependency>
    </dependencies>
</project>

第二步、自定义java类

package udfdemo;

import org.apache.hadoop.hive.ql.exec.UDF;
import org.apache.hadoop.io.Text;

public class UDFTest extends UDF{
  public int evaluate(int a,int b){
    return a + b;
  }

  public int evaluate(int a, int b, int c){
    return a + b + c;
  }
}

第三步、打成jar包

第四步、在hive客户端中执行add jar方法

第五步、在hive创建的函数，引入的类是UDF.UDFTest

hive>add jar /home/centos/UDFTest.jar
// 创建临时函数
hive>create  temporary function add as 'UDFDemo.UDFTest';

第六步、调用

hive>select add(1,2);
hvie>select add(1,2,3);

1.3 实例二(自定义处理时间戳函数)

添加pom文件 略。。。

时间处理工具类

package dateutil;
import java.text.SimpleDateFormat;
import java.util.Calendar;
import java.util.Date;

public class DateUtil{
  /**
   * 得到指定日期的起始时刻
   */
  public static long getDayBegin(Date date, int offset){
    try{
      // 日历类
      Calendar c = Calendar.getInstance() ;
      c.setTime(date) ;
      // 时间增减
      c.add(Calendar.DAY_OF_MONTH,offset) ;
      Date newDate = c.getTime() ;
      SimpleDateFormat sdf = new SimpleDateFormat("yyyy/MM//dd 00:00:00");
      return sdf.parse(sdf.format(newDate)).getTime();
    }catch(Exception e){
      e.printStackTrace();
    }
    return -1 ;
  }

  /**
   * 得到指定日期所在月份的月初零点时刻(即所在月的1号的零点)
   */
   public static long getMonthBegin(Date date, int offset){
     try{
       // 日历类
       Calendar c = Calendar.getInstance() ;
       c.setTime(date) ;
       c.add(Calendar.MONTH, offset) ;

       SimpleDateFormat sdf = new SimpleDateFormat("yyyy/MM/01 00:00:00") ;
       String ymd = sdf.format(c.getTime());

       return sdf.parse(ymd).getTime();
     }catch(Exception e){
       e.printStackTrace();
     }
     return -1 ;
   }

   /**
    * 得到制定日期的所在周的周日的零时刻
    */
    public static long getWeekBegin(Date date, int offset){
      try{
        Calendar c = Calendar.getInstance() ;
        c.setTime(date) ;
        int n = c.get(Calendar.DAY_OF_WEEK) ;
        c.add(Calendar.DAY_OF_MONTH, -(n-1));
        c.add(Calendar.DAY_OF_MONTH,  offset * 7) ;

        SimpleDateFormat sdf = new SimpleDateFormat("yyyy/MM/dd 00:00:00");
        String ymd = sdf.format(c.getTime());
        return sdf.parse(ymd).getTime();

      }catch(Exception e){
        e.printStackTrace() ;
      }
      return -1 ;
    }
}

自定义函数，获取天的起始时刻

import dateutil;
import org.apache.hadoop.hive.ql.exec.UDF;
import java.text.SimpleDateFormat;
import java.util.Date;
/**
 * 自定义函数，获取天的起始时刻
 */
public class DayBeginUDF extends UDF{
  /**
     *今天零时刻
     */
    public long evaluate() {
        Date date = new Date();
        return evaluate(date, 0);
    }

    public long evaluate(int offset) {
        Date date = new Date();
        return evaluate(date, offset);
    }

    public long evaluate(long timestamp,int offset) {
        Date date = new Date(timestamp) ;
        return evaluate(date , offset) ;
    }

    public long evaluate(Date date,int offset) {
        return DateUtil.getDayBegin(date , offset) ;
    }

    public long evaluate(String date , String fmt ,int offset) {
        try{
            SimpleDateFormat sdf = new SimpleDateFormat(fmt) ;
            return DateUtil.getDayBegin(sdf.parse(date) , offset) ;
        }
        catch(Exception e){
            e.printStackTrace();
        }
        return -1 ;
    }
}

格式化时间串函数

import dateutil;
import org.apache.hadoop.hive.ql.exec.UDF;
import java.text.SimpleDateFormat;
import java.util.Date;

/**
 * 格式串函数
 */
public class FormatTimeUDF extends UDF{

    public String evaluate(String fmt) {
        SimpleDateFormat sdf = new SimpleDateFormat(fmt) ;
        return sdf.format(new Date()) ;
    }

    public String evaluate(long timestamp,String fmt) {
        SimpleDateFormat sdf = new SimpleDateFormat(fmt);
        return sdf.format(new Date(timestamp));
    }

    public String evaluate(Date date , String fmt) {
        SimpleDateFormat sdf = new SimpleDateFormat(fmt);
        return sdf.format(date);
    }
}

自定义函数,获取月的起始时刻

import dateutil;
import org.apache.hadoop.hive.ql.exec.UDF;
import java.text.SimpleDateFormat;
import java.util.Date;

/**
 * 自定义函数,获取月的起始时刻
 */
public class MonthBeginUDF extends UDF {
    /**
     *今天零时刻
     */
    public long evaluate() {
        Date date = new Date();
        return evaluate(date, 0);
    }

    public long evaluate(int offset) {
        Date date = new Date();
        return evaluate(date, offset);
    }

    public long evaluate(long timestamp,int offset) {
        Date date = new Date(timestamp) ;
        return evaluate(date , offset) ;
    }

    public long evaluate(Date date,int offset) {
        return DateUtil.getMonthBegin(date , offset) ;
    }

    public long evaluate(String date , String fmt ,int offset) {
        try{
            SimpleDateFormat sdf = new SimpleDateFormat(fmt) ;
            return DateUtil.getMonthBegin(sdf.parse(date) , offset) ;
        }
        catch(Exception e){
            e.printStackTrace();
        }
        return -1 ;
    }
}

自定义函数，获取周的起始数据

import dateutil;
import com.it18zhang.umeng.util.DateUtil;
import org.apache.hadoop.hive.ql.exec.UDF;
import java.text.SimpleDateFormat;
import java.util.Date;

/**
 * 自定义函数,获取周的起始时刻
 */
public class WeekBeginUDF extends UDF {
    /**
     *今天零时刻
     */
    public long evaluate() {
        Date date = new Date();
        return evaluate(date, 0);
    }

    public long evaluate(int offset) {
        Date date = new Date();
        return evaluate(date, offset);
    }

    public long evaluate(long timestamp,int offset) {
        Date date = new Date(timestamp) ;
        return evaluate(date , offset) ;
    }

    public long evaluate(Date date,int offset) {
        return DateUtil.getWeekBegin(date , offset) ;
    }

    public long evaluate(String date , String fmt ,int offset) {
        try{
            SimpleDateFormat sdf = new SimpleDateFormat(fmt) ;
            return DateUtil.getWeekBegin(sdf.parse(date) , offset) ;
        }
        catch(Exception e){
            e.printStackTrace();
        }
        return -1 ;
    }
}

启动thriftserver时，通过–jars指定jar包

start-thriftserver.sh --num-executors 12 --executor-cores 4 --conf spark.task.cpus=1 --executor-memory=4g --master yarn-client --jars udf.jar

注册函数

beeline中注册
$beeline>create function getdaybegin as 'hive.udf.DayBeginUDF' ;
$beeline>create function getweekbegin as 'hive.udf.WeekBeginUDF' ;
$beeline>create function getmonthbegin as 'hive.udf.MonthBeginUDF' ;
$beeline>create function formattime as 'hive.udf.FormatTimeUDF' ;

参考博文

http://blog.csdn.net/scgaliguodong123_/article/details/46993005

yanzhelee
关注
专栏目录
Spark不能使用hive自定义函数.doc
03-06
### Spark与Hive自定义函数兼容性问题解析 在大数据处理领域，Apache Spark 和 Apache Hive 都是非常重要的工具。Spark 是一种快速通用的大规模数据处理系统，而Hive 则是一种数据仓库工具，主要用于对存储在 ...
DateUtil 日期操作工具类
weixin_33736048的博客
11-15 224
为什么80%的码农都做不了架构师？>>> ...
DateUtil时间工具类的基本使用
qq_43102730的博客
07-01 7492
Date、long、Calendar类型之间相互转换 字符串转日期 DateUtil.parse 方法会自动识别一些常用格式，包括：yyyy-MM-dd HH:mm:ssyyyy/MM/dd HH:mm:ssyyyy.MM.dd HH:mm:ssyyyy年MM月dd日 HH时mm分ss秒yyyy-MM-dd yyyy/MM/ddyyyy.MM.dd HH:mm:ssHH时mm分ss秒yyyy-MM-dd HH:mmyyyy-MM-dd HH:mm:ss.SSSyyyyMMddHHmmssyyyyMMddH
Hive自定义函数编写方法（含源代码解读，超详细，易理解）
最新发布
ffads的博客
07-16 1716
Hive创建自定义函数的逻辑并不难，只需继承相关类，实现相关方法，打成jar包上传集群即可。但在代码编写阶段有一定难度，需要一定的java基础。t=N7T8。
DateUtils-java时间处理工具类
不吃_花椒的博客
04-11 1467
package org.zhibo.commons.lang.utils; import java.text.ParseException; import java.text.SimpleDateFormat; import java.util.ArrayList; import java.util.Calendar; import java.util.Date; import java.uti...
hive自定义函数学习
weixin_30405421的博客
06-04 661
1介绍 Hive自定义函数包括三种UDF、UDAF、UDTF UDF(User-Defined-Function) 一进一出 UDAF(User- Defined Aggregation Funcation) 聚集函数，多进一出。Count/max/min UDTF(User-Defined Table-Generating Functions) 一进多出，如lateral view e...
Hive 自定义函数
weixin_56046673的博客
08-23 2876
导读 大家好，我是数据开发者，非常感谢大家最近的关注，你们的关注是我持续输出的动力，让我们共同提高。 大数据平台下的数据仓库搭建过程中存在许多个性化的业务需求，或者说是系统需求，无法在 Hive 提供的内置函数中找到解决办法，为了解决这个问题，我们可以使用 Hive 自定义函数满足这种个性化需求。我们本篇就使用 Hive 中的自定义函数实现几种数仓搭建过程中的需求。 Hive 有哪些自定义函数？ Hive 中存在三种类型的函数，分别是 UDF, UDAF, UDTF，这三种类型的 UDF 分别是： UD
hive自定义函数demo
05-30
本示例“hive自定义函数demo”将探讨如何在Hive中开发和使用自定义函数（UDF），这对于扩展Hive的功能和适应特定业务需求至关重要。下面，我们将深入学习与Hive自定义函数相关的知识。 1. **什么是Hive UDF?** ...
hive-udf:hive自定义函数
05-18
hive-udfhive自定义函数主要实现hive3种自定义函数1，udf函数，主要用于处理一对一数据处理2，udtf函数，主要用于处理一对多数据处理2，udaf函数，主要用与处理多对一数据聚合处理
hive数仓、hive SQL 、 hive自定义函数 、hive参数深入浅出
03-24
3. Hive自定义函数（UDF）： - UDF定义：用户可以编写Java代码实现特定功能的函数，然后在Hive SQL中调用。 - UDAF（用户定义的聚合函数）：用于处理一组输入值并返回单个值，如自定义平均值、众数等。 - UDTF...
大数据---29.Hive 自定义函数
u014579001的博客
08-09 3860
Hive 自定义函数(临时函数和永久函数)
hive的3种自定义函数
Aidon博客
04-21 8691
hive自定义函数 1 自定义函数 1.1 为什么需要自定义函数 hive的内置函数满足不了所有的业务需求。 hive提供很多的模块可以自定义功能，比如：自定义函数、serde、输入输出格式等。 1.2 常见自定义函数有哪些 UDF：用户自定义函数，user defined function。一对一的输入输出。（最常用的）。 UDTF：用户自定义表生成函数。user defined table...
Hive自定义函数详解
Brother_ning的博客
12-31 1417
hive自定义函数的详细代码，hive自定义函数命令
干货详解：hive自定义函数
qfluohao的博客
04-21 783
hive自定义函数 1 自定义函数 1.1 为什么需要自定义函数 hive的内置函数满足不了所有的业务需求。 hive提供很多的模块可以自定义功能，比如：自定义函数、serde、输入输出格式等。 1.2 常见自定义函数有哪些 2 自定义函数实现 2.1 UDF格式 先在工程下新建一个pom.xml,加入以下maven的依赖包 请查看code/pom.xml 定义UDF函数要注意下...
hive从入门到实战No.3
Nikolala123的博客
10-27 755
UDAF（user defined aggregation function） 自定义udaf函数self_count，实现系统udaf count的功能 in:out=n:1,即输入N条数据，返回一条处理结果，即列转行。 最常见的系统聚合函数，如count,sum,avg,max等 实现步骤 自定义一个java类 继承UDAF类 内部定义一个静态类，实现UDAFEvaluator接口 实现方法init,iterate,terminatePartial,merge,terminate共5个方法.
hive自定义函数
qq_42773076的博客
06-14 1187
hive自定义udf函数
Hive自定义函数：UDF实践与应用
Hive自定义函数（UDF）是Hive查询语言中的一种重要扩展机制，允许开发人员根据实际业务需求编写自定义功能，以解决系统内置函数无法满足的问题。UDF的引入极大地丰富了Hive的数据处理能力，使得复杂或特定场景下的...
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值