hive udf函数 array_except 实现

最新推荐文章于 2024-05-01 10:51:21 发布

Thomas2143

最新推荐文章于 2024-05-01 10:51:21 发布

阅读量276

点赞数

分类专栏：总结文章标签： hive hadoop 大数据 array_except

本文链接：https://blog.csdn.net/qq_35515661/article/details/130161544

版权

总结专栏收录该内容

745 篇文章 88 订阅 ¥99.90 ¥99.00

订阅专栏

作用

两个数组列做差集基本上支持所有类型

函数定义和使用

add jar /Users/thomas990p/IdeaProjects/hiveThomasUDF/target/hiveThomasUDF-1.0-SNAPSHOT-jar-with-dependencies.jar;


create temporary function array_except as 'org.thomas.hive.udf.ArrayExcept';
-- select array_except(`array`(11,22,33,22,100),`array`(22),`array`(100));
    -- [11,33]
-- select array_except(`array`( `map`("key1",100,"key2",200) , `map`("key1",999)),`array`( `map`("key1",100,"key2",200) ));
    -- [{"key1":999}]

array_except源码

package org.thomas.hive.udf;

import org.apache.hadoop.hive.ql.exec.UDFArgumentException;
import org.apache.hadoop.hive.ql.metadata.HiveException;
import org.apache.hadoop.hive.ql.udf.generic.GenericUDF;
import org.apache.hadoop.hive.serde2.objectinspector.ListObjectInspector;

了解本专栏