Hive中的自定义函数UDF的实现过程说明记录

最新推荐文章于 2024-08-13 16:51:08 发布

「已注销」

最新推荐文章于 2024-08-13 16:51:08 发布

阅读量1.1k

点赞数

分类专栏：大数据与人工智能文章标签： hive idea mavne

转载注明出处

本文链接：https://blog.csdn.net/qq_15973399/article/details/89191308

版权

本文详细记录了在Hive中实现自定义函数UDF的步骤，包括在IDEA环境下配置，解决Maven下载问题，编写测试程序，以及如何在Hive中使用这些自定义函数。在开发过程中，遇到镜像源问题，通过修改settings.xml解决，并提供了遇到错误时的解决办法。

摘要由CSDN通过智能技术生成

1. 引言

近期在学习大数据的过程中，使用了CDH版本的Hadoop、Hive等，将编写Hive自定义函数UDF的过程记下来，以备查看和参考。

2. 环境准备

开发环境：JDK1.8、IEDA 2018.3.5

操作环境：安装了CDH版本的大数据组件的Linux系统（虚拟机），包括了Hadoop、Hive、Sqoop

3. 实现过程

3.1 搭建IDEA开发环境

（1）贴上pom.xml的内容

<?xml version="1.0" encoding="UTF-8"?>
<project xmlns="http://maven.apache.org/POM/4.0.0"
         xmlns:xsi="http://www.w3.org/2001/XMLSchema-instance"
         xsi:schemaLocation="http://maven.apache.org/POM/4.0.0 http://maven.apache.org/xsd/maven-4.0.0.xsd">
    <modelVersion>4.0.0</modelVersion>

    <groupId>com.fanling</groupId>
    <artifactId>hivedemo</artifactId>
    <packaging>jar</packaging>
    <version>1.0.0</version>

    <repositories>
        <repository>
            <id>cloudera</id>
            <name>cloudera-repository</name>
            <url>https://repository.cloudera.com/artifactory/cloudera-repos/</url>
            <layout>default</layout>
            <releases>
                <enabled>tr