hadooppythonudf_使用 Python 编写 Hive UDF 环境问题

最新推荐文章于 2023-11-09 21:05:25 发布

我不是闸总

最新推荐文章于 2023-11-09 21:05:25 发布

阅读量264

点赞数

文章标签： hadooppythonudf

本文链接：https://blog.csdn.net/weixin_30905039/article/details/114173157

版权

在使用Python编写Hive UDF时遇到找不到numpy模块的问题，通过添加ARCHIVE将Anaconda环境引入，成功解决运行时环境缺失的问题。这种方法虽然可行但不推荐，因为大型包可能占用大量网络带宽。

摘要由CSDN通过智能技术生成

在《使用Python编写Hive UDF》文章中，我简单的谈到了如何使用 sys 包，而这个包是 numpy 中的一些函数呢？假设我们有一个表，表结构和数据如下： hive (iteblog)> show create table test_a;

CREATE TABLE `test_a`(

`data` string

)

hive (iteblog)> select * from test_a;

1,3,4,5

2,5,6,6

3,5,6,7

7,1,5,8

Time taken: 0.321 seconds, Fetched: 4 row(s)

如果想及时了解Spark、Hadoop或者Hbase相关的文章，欢迎关注微信公共帐号：iteblog_hadoop

每行数据是一个数字序列，现在我们需要求每行数字的最小值，我们使用 Python 编写的代码如下： #!/usr/bin/python

import sys

import numpy as np

def toInt(num):

return int(num)

for line in sys.stdin:

x = line.split(",")

v = np.array(map(toInt, x))

print v.min()

这里面使用了 numpy 相关的函数，现在我们来使用这个 UDF： hive (iteblog)> add file /tmp/iteblog.py;

Added resources: [/tmp/iteblog.py]

hive (iteblog)>select

> TRANSFORM(data)

> USING 'python iteblog.py'

> as (min_num)

>from test_a;

不幸的是，我们的程序运行遇到了问题： Traceback (most recent call last):

File "iteblog.py", line 4, in

import numpy as np

ImportError: No module named numpy

org.apache.hadoop.hive.ql.metadata.HiveException: [Error 20003]: An error occurred when trying to close the Operator running your custom script.

at org.apache.hadoop.hive.ql.exec.ScriptOperator.close(ScriptOperator.java:560)

at org.apache.hadoop.hive.ql.exec.Operator.close(Operator.java:630)

at org.apache.hadoop.hive.ql.exec.mr.ExecMapper.close(ExecMapper.java:192)

at org.apache.hadoop.mapred.MapRunner.run(MapRunner.java:61)

at org.apache.hadoop.mapred.MapTask.runOldMapper(MapTask.java:429)

at org.apache.hadoop.mapred.MapTask.run(MapTask.java:341)

at org.apache.hadoop.mapred.YarnChild$2.run(YarnChild.java:162)

at java.security.AccessController.doPrivileged(Native Method)

at javax.security.auth.Subject.doAs(Subject.java:422)

at org.apache.hadoop.security.UserGroupInformation.doAs(UserGroupInformation.java:1491)

at org.apache.hadoop.mapred.YarnChild.main(YarnChild.java:157)