udaf中加载外部文件

加载外部文件:

1.在shell中 要将文件加载进去 使用add file

例如:

hive -e "
add file ./pro_data/testfile.txt;
add jars $CLASSIFIER_JAR;
...

说明:文件位置在./pro_data目录下


2.java调用时, 文件路径需要改变

例如:

ToolsUtils.getDic("./testfile.dic");

因为文件已经加载到hdfs中了,相当在当前目录下


3.udaf读取的时候,必须在UDAFEvaluator的实现类的 init函数中初始化

例如:

private static Map<String, String> testmap = null;

public void init() {
    idAndDirectoryAndActorMap = ToolsUtils.getIdAndPersonList("./testfile.txt");
}

这样才能被加载到文件中



评论
添加红包

请填写红包祝福语或标题

红包个数最小为10个

红包金额最低5元

当前余额3.43前往充值 >
需支付:10.00
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明:

1.余额是钱包充值的虚拟货币,按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载,可以购买VIP、付费专栏及课程。

余额充值