hive自定义UDF函数解析JSON字符串

最新推荐文章于 2024-11-19 15:58:54 发布

爱工作爱媳妇~

最新推荐文章于 2024-11-19 15:58:54 发布

阅读量663

点赞数 1

分类专栏： hive java 文章标签： hive json 大数据

本文链接：https://blog.csdn.net/weixin_45067310/article/details/108836996

版权

hive 同时被 2 个专栏收录

10 篇文章 0 订阅

订阅专栏

java

1 篇文章 0 订阅

订阅专栏

UDF函数作用：解析JSON字符串
1、在pom.xml文件中添加依赖

<dependency>
            <groupId>org.apache.hive</groupId>
            <artifactId>hive-exec</artifactId>
            <version>1.2.1</version>
        </dependency>

2、java代码

package com.garret.flume;


import org.codehaus.jettison.json.JSONArray;
import org.apache.hadoop.hive.ql.exec.UDF;
import org.codehaus.jettison.json.JSONException;

import java.util.ArrayList;

public class JsonUDF extends UDF {
    public ArrayList<String> evaluate(String jsonString){
        if(jsonString == null || "".equals(jsonString)){
            return null;
        }
    try {
         JSONArray jsonElements = new JSONArray(jsonString);
        final ArrayList<String> result = new ArrayList<>();
        for (int i = 0;i<jsonElements.length();i++){
            result.add(jsonElements.get(i).toString());
        }
        return result;
    } catch (JSONException e) {
        return  null;
    }
    }
}

3、打包上传文件，将文件传到/home/hive/目录下
4、将jar包添加到Hive的classpath

hive > add jar /home/hive/hiveParseJson-1.0-SNAPSHOT.jar;

5、注册函数使用

hive> create temporary function default.Parse_Json as 'com.garret.flume.JsonUDF';

具体使用方法，后续更新~

cdh注册udf函数方法