python transform hive_HIVE中使用python实现UDAF

HIVE，FACEBOOK的一个开源项目，利用类SQL的语句(HiveQL)来加快一般的MapReduce的开发过程。

UDF，user defined function, 因为HIVE毕竟不是一般的关系型数据库，支持的HQL有限，如果要实现复杂的功能，就要通过自己定义函数来帮助实现。

HIVE应该利用PIPE的原理，将自己查询的结果放到python脚本的stdin中。所以他的查询结果不会显示在terminal中，terminal中显示的结果是python的执行结果。

使用HIVE的命令进入数据仓库(mydbname是你的数据库)

[sql]use mydbname;[/sql]

使用HIVE的命令查看已经建立的表

[sql]show tables;[/sql]

使用HIVE的命令查看(mytable)表中的字段

[sql]desc mytable;[/sql]

使用HIVE命令用PYTHON实现UDF。

通过transform语句，可以将hive语句中select得到的数据通过类似hadoop中streaming的方式，传给using语句中的脚本作为输入。用DISTRIBUTE BY将mapper的输出分类给reducer.

[sql]

add file /pathof/udf.py;

SELECT

TRANSFORM(keyword)

USING 'python /pathof/udf.py'

AS(keyword)

FROM xxx

WHERE dt='2013-09-25'

;

[/sql]

要注意的是，这里的TRANSFORM的内容可以写*，但是AS()里就不能写*，会报错。

输入到python中的内容，是按照AS里的数量来决定的。

下面是python的脚本，内容很简单，就是把输入的东西原封不动输出来。

/pathof/udf.py

[python]

import sys

for line in sys.stdin:

line = line.strip()

print line

[/python]