UDF开发入门实例

简单UDF示例–字母大小写转换

第一步：创建maven java 工程，导入jar包

<repositories>
<repository>
    <id>cloudera</id>
    <url>https://repository.cloudera.com/artifactory/cloudera-repos/</url>
</repository>
</repositories>
<dependencies>
<dependency>
    <groupId>org.apache.hadoop</groupId>
    <artifactId>hadoop-common</artifactId>
    <version>3.0.0-cdh6.2.0</version>
</dependency>
<dependency>
    <groupId>org.apache.hive</groupId>
    <artifactId>hive-exec</artifactId>
    <version>2.1.1-cdh6.2.0</version>
</dependency>
</dependencies>
<build>
<plugins>
<plugin>
    <groupId>org.apache.maven.plugins</groupId>
    <artifactId>maven-compiler-plugin</artifactId>
    <version>3.0</version>
    <configuration>
        <source>1.8</source>
        <target>1.8</target>
        <encoding>UTF-8</encoding>
    </configuration>
</plugin>
 <plugin>
     <groupId>org.apache.maven.plugins</groupId>
     <artifactId>maven-shade-plugin</artifactId>
     <version>2.2</version>
     <executions>
         <execution>
             <phase>package</phase>
             <goals>
                 <goal>shade</goal>
             </goals>
             <configuration>
                 <filters>
                     <filter>
                         <artifact>*:*</artifact>
                         <excludes>
                             <exclude>META-INF/*.SF</exclude>
                             <exclude>META-INF/*.DSA</exclude>
                             <exclude>META-INF/*/RSA</exclude>
                         </excludes>
                     </filter>
                 </filters>
             </configuration>
         </execution>
     </executions>
 </plugin>
</plugins>
</build>

第二步：开发java类继承UDF，并重载evaluate 方法

public class HIVE_UDF extends UDF {
public Text evaluate(final Text s) {
    if (null == s) {
        return null;
    }
    //返回大写字母
    return new Text(s.toString().toUpperCase());

}

}

第三步：将我们的项目打包，并上传到hive的lib目录下

第四步：添加我们的jar包

hive的客户端添加我们的jar包
add jar $HIVE_HOME/lib/udf.jar

第五步：设置函数与我们的自定义函数关联

创建临时函数

create temporary function touppercase as 'cn.udf.HIVE_UDF';

删除临时函数

drop temporary function touppercase;

创建永久函数

create function touppercase as 'cn.udf.HIVE_UDF';

删除永久函数

drop  function touppercase1;

第六步：使用自定义函数

select touppercase('abc');