自定义UDF函数和UDTF函数

最新推荐文章于 2022-09-11 05:30:00 发布

JcJJJJCc

最新推荐文章于 2022-09-11 05:30:00 发布

阅读量508

点赞数

分类专栏： hive

本文链接：https://blog.csdn.net/JcJJJJCc/article/details/114251295

版权

本文介绍了如何在Hive中创建自定义UDF和UDTF函数，包括UDF返回固定值的实现，UDTF的initialize、process和close方法详细解释。通过在Maven项目中构建jar包，然后通过两种方式（直接放在Linux auxlib目录或上传到HDFS）导入到Hive。此外，文章还提到了在Hive中测试这两个自定义函数的例子，以及遇到的问题，如Tez引擎故障和删除错误创建的函数。

摘要由CSDN通过智能技术生成

文章目录

1.创建maven项目，引入依赖
2.自定义函数
- 自定义UDF函数
- 自定义UDTF函数
hive调用jar包创造函数
- 方法1：上传到linux下导入hive
- 方法2：上传到hdfs上再导入hive
测试
问题：

1.创建maven项目，引入依赖

pom.xml

在pom.xml文件中添加如下内容

<properties>
    <project.build.sourceEncoding>UTF8</project.build.sourceEncoding>
    <hive.version>1.2.1</hive.version>
</properties>

<dependencies>
    <!--添加hive依赖-->
    <dependency>
        <groupId>org.apache.hive</groupId>
        <artifactId>hive-exec</artifactId>
        <version>${hive.version}</version>
    </dependency>
</dependencies>

<build>
    <plugins>
        <plugin>
            <artifactId>maven-compiler-plugin</artifactId>
            <version>2.3.2</version>
            <configuration>
                <source>1.8</source>
                <target>1.8</target>
            </configuration>
        </plugin>
        <plugin>