自己写UDF函数导入hive对查询结果进行格式化显示（Java）

最新推荐文章于 2023-03-17 11:43:56 发布

Cheengvho

最新推荐文章于 2023-03-17 11:43:56 发布

阅读量2k

点赞数

分类专栏： Java Hive Hadoop 文章标签： Hadoop Hive IDEA Java

本文链接：https://blog.csdn.net/m0_37890482/article/details/81128025

版权

本文介绍了如何使用IntelliJ IDEA编写和打包一个Java UDF（用户自定义函数）用于Hive查询结果的格式化显示。首先创建Maven项目，导入Hadoop和Hive相关依赖，然后编写UDF_Time.java类并打包成jar。接着将jar包上传到Linux的Hadoop lib目录，通过Hive CLI将jar添加到classpath，并创建临时函数。最后，演示了如何使用该UDF函数进行查询，以及创建Hive的永久性函数。

摘要由CSDN通过智能技术生成

本篇UDF函数使用IntelliJ IDEA进行编写和打包，使用的是Java语言，数据使用上一篇博客“HDFS、Hive（Impala）读取本地文件到HDFS，再使用Hive（Impala）从HDFS读取文件进行建表”中已经放入hive中的数据进行查询展示。

创建一个maven项目，导入依赖包

<!-- 根据Linux系统上安装的的hadoop和hive版本，设置版本参数，不一定和我的一样 -->
<!-- hadoop版本查询 $ hadoop version -->
<!-- hive版本查询需要进入安装目录进行查看，我这里的安装目录是/usr/lib/hive,安装目录下的lib文件夹下有一个hive-common-1.1.0-cdh5.4.3.jar, 1.1.0-cdh5.4.3 即为hive版本号 -->
    <properties>
        <hadoop.version>2.6.0-cdh5.4.3</hadoop.version>
        <hive.version>1.1.0-cdh5.4.3</hive.version>
    </properties>
    <repositories>
        <repository>
            <id>cloudera</id>
            <url>http://repository.cloudera.com/artifactory/cloudera-repos</url>
        </repository>
    </repositories>
    <dependencies>
        <!-- 添加依赖组件，根据上方配置的版本参数和repository知识库下载