Hive中添加自定义函数(UDF)方法及实践

环境介绍：CentOS7+hive-1.1.0-cdh5.7.0+Maven3.3.9

1、下载源码 
   hive-1.1.0-cdh5.7.0-src.tar.gz 
   http://archive.cloudera.com/cdh5/cdh/5/hive-1.1.0-cdh5.7.0-src.tar.gz 

2、解压源码
   tar -zxvf hive-1.1.0-cdh5.7.0-src.tar.gz -C /home/hadoop/
   cd /home/hadoop/hive-1.1.0-cdh5.7.0

3、将HelloUDF.java文件增加到HIVE源码中
   cp HelloUDF.java /home/hadoop/hive-1.1.0-cdh5.7.0/ql/src/java/org/apache/hadoop/hive/ql/udf/

4、修改FunctionRegistry.java 文件
   cd /home/hadoop/hive-1.1.0-cdh5.7.0/ql/src/java/org/apache/hadoop/hive/ql/exec/
   vi FunctionRegistry.java
   在import中增加：import org.apache.hadoop.hive.ql.udf.HelloUDF;
   在文件头部 static 块中添加：system.registerUDF("helloUDF", HelloUDF.class, false);

5、重新编译
   cd /home/hadoop/hive-1.1.0-cdh5.7.0
   mvn clean package -DskipTests -Phadoop-2 -Pdist

6、编译结果全部为：BUILD SUCCESS
   文件所在目录：/home/hadoop/hive-1.1.0-cdh5.7.0/hive-1.1.0-cdh5.7.0/packaging/target

7、配置hive环境
    配置hive环境时，可以全新配置或将编译后带UDF函数的包复制到旧hive环境中：
    7.1、全部配置：参照之前文档。。。。。。。。。。。。。。

    7.2、将编译后带UDF函数的包复制到旧hive环境
      到/home/hadoop/hive-1.1.0-cdh5.7.0/packaging/target/apache-hive-1.1.0-cdh5.7.0-bin/apache-hive-1.1.0-cdh5.7.0-bin/lib下，找到hive-exec-1.1.0-cdh5.7.0.jar包，并将旧环境中对照的包替换掉
      命令：
      cd /home/hadoop/app/hive-1.1.0-cdh5.7.0/lib
      mv hive-exec-1.1.0-cdh5.7.0.jar hive-exec-1.1.0-cdh5.7.0.jar_bak
      cd /home/hadoop/hive-1.1.0-cdh5.7.0/packaging/target/apache-hive-1.1.0-cdh5.7.0-bin/apache-hive-1.1.0-cdh5.7.0-bin/lib
      cp hive-exec-1.1.0-cdh5.7.0.jar /home/hadoop/app/hive-1.1.0-cdh5.7.0/lib
  最终启动hive

8、测试：
   hive
   hive (default)> show functions ;   -- 能查看到有 helloudf


若泽大数据交流群：671914634

来自 “ ITPUB博客 ” ，链接：http://blog.itpub.net/31511218/viewspace-2150100/，如需转载，请注明出处，否则将追究法律责任。

转载于:http://blog.itpub.net/31511218/viewspace-2150100/