python调用hive脚本_Hive调用Python脚本异常

我使用的是Hive 0.10和Hadoop 1.1.1。

在家里的环境是Hive 0.9和Hadoop 1.0.4.

Hive可以使用Python脚本大大地提高数据处理的开发效率，使用MapReduce的方式将数据处理成想要的结果。

我们使用ADD FILE 为Hive增加一个脚本，或者Jar包。

有两种方式：

ADD FILE {env:HOME}/your_file/your_script.py

ADD FILE /home/your_name/your_file/your_script.py

在调用的时候，过去的版本可以使用：

FROM u_data

SELECT

TRANSFORM (userid, movieid, rating)

USING 'python /home/dacoolbaby/test_data_mapper3.py'

AS str

;

但是在Hive 0.10貌似不支持这样弄。

FROM u_data

SELECT

TRANSFORM (userid, movieid, rating)

USING 'python test_data_mapper3.py'

AS str

;

后面的是脚本的名称，而不是整个的路径名。

以后在Hive下面使用Hadoop Distributed Cache要注意这个问题。