大数据最新大数据自定义函数udf(1)，大数据开发插件化、模块化、组件化、热修复、增量更新、Gradle

网上学习资料一大堆，但如果学到的知识不成体系，遇到问题时只是浅尝辄止，不再深入研究，那么很难做到真正的技术提升。

需要这份系统化资料的朋友，可以戳这里获取

一个人可以走的很快，但一群人才能走的更远！不论你是正从事IT行业的老鸟或是对IT行业感兴趣的新人，都欢迎加入我们的的圈子（技术交流、学习资源、职场吐槽、大厂内推、面试辅导），让我们一起学习成长！

UDF指用户定义函数，即在hive中进行客户化的函数。在实际应用中，我们需要根据实际的业务需求自定义开发这种函数，自定义函数的例子参考文档： Hive Plugins

UDF函数一共分为三种类型： ​

1. UDF-一进一出，给定一个参数，输出一个处理后的数据 ​

2. UDAF-多进一出，属于聚合函数，类似于count、sum等函数 ​

3. UDTF-一进多出，属于一个参数，返回一个列表作为结果

#在sql中可以show functions;展示目前系统已有的udf

show functions;

±-----------------------------±-+

| tab_name |

±-----------------------------±-+

| ! |

| != |

| % |

| & |

| * |

| + |

| - |

| / |

| < |

| <= |

| <=> |

| <> |

| = |

| == |

| > |

| >= |

二，udf制作流程

---

1，pom中添加对应的依赖

<?xml version="1.0" encoding="UTF-8"?>

<project xmlns=“http://maven.apache.org/POM/4.0.0”

xmlns:xsi=“http://www.w3.org/2001/XMLSchema-instance”

xsi:schemaLocation=“http://maven.apache.org/POM/4.0.0 http://maven.apache.org/xsd/maven-4.0.0.xsd”>

4.0.0

com.xxx

xxx

1.0.0-RELEASE

<java.version>1.8</java.version>

<lombok.version>1.16.18</lombok.version>

<fastjson.version>1.2.4</fastjson.version>

<commons.version>3.5</commons.version>

<slf4j.version>1.7.7</slf4j.version>

<log4j.version>1.2.17</log4j.version>

<project.build.sourceEncoding>UTF-8</project.build.sourceEncoding>

<maven.compiler.source>1.8</maven.compiler.source>

<maven.compiler.target>1.8</maven.compiler.target>

<scala.version>2.11.7</scala.version>

<hadoop.version>2.7.0</hadoop.version>

<spark.version>2.2.0</spark.version>

org.apache.hadoop

hadoop-common

2.6.0

org.apache.hadoop

hadoop-client

2.6.0

org.apache.hive

hive-jdbc

2.3.1

org.apache.hive

hive-metastore

2.3.1

org.apache.hive

hive-exec

2.3.1

dom4j

dom4j

1.5.2

org.apache.maven.plugins

maven-compiler-plugin

3.3

${java.version}

${java.version}

${java.version}

UTF-8

false

maven-assembly-plugin

make-assembly

package

assembly

com.dazhen.udf.encryption.EncrHive

jar-with-dependencies

${session.executionRootDirectory}/target/

网上学习资料一大堆，但如果学到的知识不成体系，遇到问题时只是浅尝辄止，不再深入研究，那么很难做到真正的技术提升。

需要这份系统化资料的朋友，可以戳这里获取

一个人可以走的很快，但一群人才能走的更远！不论你是正从事IT行业的老鸟或是对IT行业感兴趣的新人，都欢迎加入我们的的圈子（技术交流、学习资源、职场吐槽、大厂内推、面试辅导），让我们一起学习成长！

.(img-FgqnPqqw-1715448510973)]

网上学习资料一大堆，但如果学到的知识不成体系，遇到问题时只是浅尝辄止，不再深入研究，那么很难做到真正的技术提升。

需要这份系统化资料的朋友，可以戳这里获取

一个人可以走的很快，但一群人才能走的更远！不论你是正从事IT行业的老鸟或是对IT行业感兴趣的新人，都欢迎加入我们的的圈子（技术交流、学习资源、职场吐槽、大厂内推、面试辅导），让我们一起学习成长！