hive udf上传

最新推荐文章于 2023-08-29 17:25:45 发布

myemptyname

最新推荐文章于 2023-08-29 17:25:45 发布

阅读量1k

点赞数

分类专栏： hive 文章标签： hive

hive 专栏收录该内容

3 篇文章

订阅专栏

1.编写UDF类

import org.apache.hadoop.hive.ql.exec.UDF;



public class NewIP2Long extends UDF {

  public static long ip2long(String ip) {



      String[] ips = ip.split("[.]");

      long ipNum = 0;

      if (ips == null) {

          return 0;

      }

      for (int i = 0; i < ips.length; i++) {

          ipNum = ipNum << Byte.SIZE | Long.parseLong(ips[i]);

      }



      return ipNum;

  }



  public long evaluate(String ip) {

      if (ip.matches("\\d{1,3}\\.\\d{1,3}\\.\\d{1,3}\\.\\d{1,3}")) {

          try {

              long ipNum = ip2long(ip);

              return ipNum;

          } catch (Exception e) {

              return 0;

          }

      } else {

          return 0;

      }

  }



  public static void main(String[] argvs) {

      NewIP2Long ipl = new NewIP2Long();

      System.out.println(ip2long("112.64.106.238"));

      System.out.println(ipl.evaluate("58.35.186.62"));

  }

}

2.编译，然后打包成ip2long.jar。
3.在需要使用ip2long这个方法到时候：

 
add jar /tmp/NEWIP2Long.jar;
 
drop temporary function ip2long;
 
create temporary function ip2long as 'NewIP2Long';//如果类有包名，要加上包名
 
select ip2long(ip) from XXX ;

这种方法每次使用都要add,create一下，还是很麻烦，如果能把UDF编译到hive源码中那一定是件很high的事。

进阶：将自定义UDF编译到hive中

重编译hive:
1)将写好的Jave文件拷贝到~/install/hive-0.8.1/src/ql/src/java/org/apache/hadoop/hive/ql/udf/

 
cd  ~/install/hive-0.8.1/src/ql/src/java/org/apache/hadoop/hive/ql/udf/
 
ls -lhgt |head

2)修改~/install/hive-0.8.1/src/ql/src/java/org/apache/hadoop/hive/ql/exec/FunctionRegistry.java，增加import和RegisterUDF

 
import com.meilishuo.hive.udf.UDFIp2Long;   //添加import
 
 
 
registerUDF("ip2long", UDFIp2Long.class, false); //添加register

3)在~/install/hive-0.8.1/src下运行ant -Dhadoop.version=1.0.1 package

 
cd ~/install/hive-0.8.1/src
 
ant -Dhadoop.version=1.0.1 package

4)替换exec的jar包，新生成的包在/hive-0.8.1/src/build/ql目录下,替换链接

 
cp hive-exec-0.8.1.jar /hadoop/hive/lib/hive-exec-0.8.1.jar.0628
 
rm hive-exec-0.8.1.jar
 
ln -s hive-exec-0.8.1.jar.0628 hive-exec-0.8.1.jar

5)重启hive服务
6)测试