Hadoop-Hive 自定义函数实现步骤

  1. 创建maven java 工程,导入jar包

     <repositories>
         <repository>
             <id>cloudera</id>
      <url>https://repository.cloudera.com/artifactory/cloudera-repos/</url>
         </repository>
     </repositories>
     <dependencies>
         <dependency>
             <groupId>org.apache.hadoop</groupId>
             <artifactId>hadoop-common</artifactId>
             <version>2.6.0-cdh5.14.0</version>
         </dependency>
         <dependency>
             <groupId>org.apache.hive</groupId>
             <artifactId>hive-exec</artifactId>
             <version>1.1.0-cdh5.14.0</version>
         </dependency>
     </dependencies>
     <build>
     <plugins>
         <plugin>
             <groupId>org.apache.maven.plugins</groupId>
             <artifactId>maven-compiler-plugin</artifactId>
             <version>3.0</version>
             <configuration>
                 <source>1.8</source>
                 <target>1.8</target>
                 <encoding>UTF-8</encoding>
             </configuration>
         </plugin>
          <plugin>
              <groupId>org.apache.maven.plugins</groupId>
              <artifactId>maven-shade-plugin</artifactId>
              <version>2.2</version>
              <executions>
                  <execution>
                      <phase>package</phase>
                      <goals>
                          <goal>shade</goal>
                      </goals>
                      <configuration>
                          <filters>
                              <filter>
                                  <artifact>*:*</artifact>
                                  <excludes>
                                      <exclude>META-INF/*.SF</exclude>
                                      <exclude>META-INF/*.DSA</exclude>
                                      <exclude>META-INF/*/RSA</exclude>
                                  </excludes>
                              </filter>
                          </filters>
                      </configuration>
                  </execution>
              </executions>
          </plugin>
     </plugins>
     </build>
    
  2. 开发java类继承UDF,并重载evaluate 方法

     public class 类名 extends UDF {
     	    public 返回值 evaluate(参数) {
     	       
         }
     }
    
  3. 将我们的项目打包,并上传到hive的lib目录下

  4. 设置函数与我们的自定义函数关联

     创建临时函数
     create temporary function 函数名 as '类名';
      
     删除临时函数
     drop temporary function 函数名;
     
     
     创建永久函数
     create function  函数名 as '类名';
     删除永久函数
     drop   function 函数名;
    
  5. 使用自定义函数

     select 函数名(字段);
    
评论
添加红包

请填写红包祝福语或标题

红包个数最小为10个

红包金额最低5元

当前余额3.43前往充值 >
需支付:10.00
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明:

1.余额是钱包充值的虚拟货币,按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载,可以购买VIP、付费专栏及课程。

余额充值