Hive中UDF编程

开发 UDF 步骤，实现小写转大写

1. pom.xml 加入Hive 依赖JAR包

2. 创建类

   1. 继承UDF
   2. 方式名称： evaluate
   3. 返回值不能为null
   4. 一定要测试

3. 代码

   package om.beifeng.bigdata;
   import org.apache.commons.lang.StringUtils;
   import org.apache.hadoop.hive.ql.exec.UDF;
   import org.apache.hadoop.io.Text;
   
   /**
    *
    * Step 1:
    *      1. Implement one or more methods named "evaluate" which will be called by Hive.
    *      2."evaluate" should never be a void method. However it can return "null" if needed.
    *
    */
   public class LowUDF extends UDF{
   
       /**
        * 实现单词转换为小写字母
        *
        * @param str
        * @return
        */
       public Text evaluate(Text str){
           // invalidate
           if(null == str){
               return null ;
           }
   
           if(StringUtils.isBlank(str.toString())){
               return null ;
           }
           // 转小写
           return new Text(str.toString().toLowerCase()) ;
       }
   
       public static void main(String[] args) {
           System.out.println(new LowUDF().evaluate(new Text("HADOOOOO")));
       }
   }

4. 使用

   1. 上传jar包到/opt/datas下
      
   2. 加载JAR包到CLASSPATH下面：add jar /opt/datas/senior-hive-1.0-SNAPSHOT.jar
      
   3. 创建临时函数：
      
   4. 使用：select ename,my_lower(ename) xx from emp;
      

   5. 0.13版本以后创建永久函数

      dfs -put /opt/datas/senior-hive-1.0-SNAPSHOT.jar /user/beifeng/;
      CREATE FUNCTION my_lower2 AS 'om.beifeng.bigdata.LowUDF' USING JAR 'hdfs://hadoop-senior01.ibeifeng.com:8020/user/beifeng/senior-hive-1.0-SNAPSHOT.jar';

      

   6. show functions;
      

---

例：完成去除数据字段中双引号，自定义 UDF

1. 原始文件
   
2. 处理后的结果显示在控制台
   

3. 具体代码

   package om.beifeng.bigdata;
   
   import java.io.File;
   import java.io.FileNotFoundException;
   import java.util.Scanner;
   
   import org.apache.commons.lang.StringUtils;
   import org.apache.hadoop.hive.ql.exec.UDF;
   import org.apache.hadoop.io.Text;
   
   public class QuotationUDF extends UDF{
   
       /**
        * 实现去除文本中的双引号
        *
        * @param str
        * @return
        */
       public Text evaluate(Text str){
           // invalidate
           if(null == str){
               return null ;
           }
   
           if(StringUtils.isBlank(str.toString())){
               return null ;
           }
   
           return new Text(str.toString().replaceAll("\"","")) ;
       }
   
       public static void main(String[] args) {
   
           try {
               Scanner in = new Scanner(new File("/opt/datas/Quotation.txt"));
   
               while (in.hasNextLine()) {
                   String str = in.nextLine();
                   System.out.println(new QuotationUDF().evaluate(new Text(str)));
               }
           } catch (FileNotFoundException e) {
               e.printStackTrace();
           }
       }
   }