UDF函数

UDF函数

一、背景

学习自定义udf函数、以解码url为例。
URL 的编码 是ASCII十六进制格式。数仓接受到前端上报的URL，要对URL字段解码

如要将 %E6%88%98%E7%8E%8B%E5%9B%9E%E5%BD%92%E7%9C%8B%E5%88%B0%E8%80%81%E5%A9%86%E5%8F%97%E6%AC%BA
解码为

战王回归看到老婆受欺

hivesql、sparksql中，通过反射调用java.net.URLDecoder方法

select reflect('java.net.URLDecoder', 'decode',url, 'UTF-8') from table_name;

因为传参有一些特殊字符，比如%号或者说+号，导致不能解析会报错 所以对URLDecoder方法进行封装

二、解决方案

UDF函数开发使用Intellij工具通过Maven开发Hive的UDF函数，进行编译

1. pom.xml文件中增加Hive包的依赖

   <properties>
       <hadoop.version>2.6.5</hadoop.version>
       <hive.version>2.0.0</hive.version>
   </properties>
   
   <dependencies>
   <!--HDFS 相关-->
   <dependency>
       <groupId>org.apache.hadoop</groupId>
       <artifactId>ha