Hive HDF 引用资源文件路径问题

最新推荐文章于 2022-11-30 16:59:19 发布

KNIFE_PAN

最新推荐文章于 2022-11-30 16:59:19 发布

阅读量7.1k

点赞数

分类专栏： Hive 文章标签： hive udf

本文链接：https://blog.csdn.net/KNIFE_PAN/article/details/45097087

版权

本文介绍了Hive用户自定义函数(UDF)引用资源文件的两种情况。第一种情况，UDF不引用外部资源，直接加载到Hive中使用。第二种情况，UDF依赖于外部资源文件，此时需要确保资源文件与UDF jar在同一目录，并在该目录下启动Hive CLI。此外，还提到将资源文件放在HDFS上会导致找不到文件的问题，但可以通过修改UDF读取HDFS上的资源文件来解决这个问题。

摘要由CSDN通过智能技术生成

1.UDF中没有引用其他资源文件
Hive UDF 函数，写完后打成jar包。放到指定目录下
例如：/home/hadoop/udf/
并且在该目录下启动hive cli 执行

add jar /home/hadoop/udf/timeOffset.jar
create temporary function timeOffset(time) as 'cn.gitv.analysis.TimeOffset'

之后就可以用了，没有路径问题
当然你也可以将jar文件，上传到hdfs的某个目录中

add jar hdfs://nameservice1/udf/timeOffset.jar (nameservice1 是dfs集群名称)
create temporary function timeOffset(time) as 'cn.gitv.analysis.TimeOffset'

同样没有路径问题

2.UDF中引用了其他资源文件

package cn.gitv.bi.log.analysis.udf;
import java.io.BufferedReader;
import java.io.FileInputStream;
import java.io.IOException;
import java.io.InputStreamReader;
import java.util.Hashtable;
import org.apache.hadoop.hive.ql.exec.Description;
import org.apache.hadoop.hive.ql.exec.UDFArgumentException;
import org.apache.hadoop.hive.ql.exec.UDFArgumentLengthException;
import org.apache.hadoop.hive.ql.metadata.HiveException;
import org.apache.hadoop.hive.ql.udf.generic.GenericUDF;
import org.apache.hadoop.hive.serde2.objectinspector.ObjectInspector;
import org.apache.hadoop.hive.serde2.objectinspector.primitive.PrimitiveObjectInspectorFactory;
import org.apache.hadoop.hive.serde2.objectinspector.primitive.StringObjectInspector;

@Description(
        name="loc 2 id",
        value="_FUNC_(string arg1, string arg2) - input two string",
        extended="return the MAC corresponding to arg1 and arg2 \n" +
        "Example:\n" +
        "> SELECT _FUNC_(