Hive的UDF

1、UDF函数可以直接应用于select语句,对查询结构做格式化处理后,再输出内容。
2、编写UDF函数的时候需要注意一下几点:
     a)自定义UDF需要继承org.apache.hadoop.hive.ql.UDF。
     b)需要实现evaluate函数,evaluate函数支持重载。
3、步骤
     a)把程序打包放到目标机器上去;
     b)进入hive客户端,添加jar包:hive>add jar /run/jar/udf_test.jar;
     c)创建临时函数:hive>CREATE TEMPORARY FUNCTION add_example AS 'hive.udf.Add';
     d)查询HQL语句:
          SELECT add_example(8, 9) FROM scores;
          SELECT add_example(scores.math, scores.art) FROM scores;
          SELECT add_example(6, 7, 8, 6.8) FROM scores;

     e)销毁临时函数:hive> DROP TEMPORARY FUNCTION add_example;

4、案列 

       类NationUDF

package edu.jianwei.hive.udf;

import java.util.HashMap;
import java.util.Map;

import org.apache.hadoop.hive.ql.exec.UDF;
import org.apache.hadoop.io.Text;

public class NationUDF extends UDF{

	private static Map<String, String> areaMap = new HashMap<String, String>();
	
	static {
		areaMap.put("China", "中国");
		areaMap.put("Japan", "日本");
		areaMap.put("USA", "美国");
	}
	
	public Text evaluate(Text in){
		String result = areaMap.get(in.toString());
		if(result == null){
			result = "其他";
		}
		return new Text(result);
	}
}
      自定义函数调用过程:
      1.添加jar包(在hive命令行里面执行)
        hive> add jar /root/NUDF.jar;
      2.创建临时函数
        hive> create temporary function getNation as 'edu.jiawei.hive.udf.NationUDF';
      3.调用
        hive> select id, name, getNation(nation) from people; 
      4.将查询结果保存到HDFS中
        hive> create table result row format delimited fields terminated by '\t' as select * from people order by id desc;   



  • 0
    点赞
  • 1
    收藏
    觉得还不错? 一键收藏
  • 0
    评论

“相关推荐”对你有帮助么?

  • 非常没帮助
  • 没帮助
  • 一般
  • 有帮助
  • 非常有帮助
提交
评论
添加红包

请填写红包祝福语或标题

红包个数最小为10个

红包金额最低5元

当前余额3.43前往充值 >
需支付:10.00
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明:

1.余额是钱包充值的虚拟货币,按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载,可以购买VIP、付费专栏及课程。

余额充值