Hive的TRANSFORM
关键字提供了在SQL中调用自写脚本的功能,适合实现Hive中没有的功能又不想写UDF的情况。例如,按日期统计每天出现的uid
数,通常用如下的SQL
SELECT date, count(uid)
FROM xxx
GROUP BY date
但是,如果我想在reduce阶段对每天的uid
形成一个列表,进行排序并输出,这在Hive中没有现成的功能。那么,可以自写脚本实现该功能,并用TRANSFORM
关键字调用
SELECT TRANSFORM(date, uid)
FROM xxx
CLUSTER BY date
这是一个类似streaming的功能,但是可以更方便的访问Hive中的数据,也可以把SQL语句和自写脚本整合在一起运行。
简单分析官网上的一个例子
FROM (
FROM pv_users
SELECT TRANSFORM(pv_users.userid, pv_users.date)
USING 'map_script'
AS dt, uid
CLUSTER BY dt
) map_output
INSERT OVERWRITE TABLE pv_users_reduced
SELECT TRANSFORM(map_output.dt, map_output.uid)
USING 'reduce_script'
AS date, count;
这段代码的大致工作流程描述如下:
map_script
作为mapper,reduce_script
作为reducer。将pv_users
表中的userid
, date
两列作为mapper的输入字段,处理后的输出的前两个字段分别命名为dt
, uid
,并按照dt
字段作partition和sort送给reduce阶段处理。reducer的输入字段为dt
和uid
,输出处理后的前两个字段,并命名为date
, count
,写入到pv_users_reduced
表中。
这里有几个细节:
- mapper和reducer用到的script可以是任何可执行文件。注意如果用到的是本地文件,应当在语句开始前用
ADD FILE
或ADD FILES
将文件加入进来 - mapper和reducer的输入输出都是以TAB为分隔符
- 如果
USING ‘script’
语句后面没有AS
,则Hive默认script
的输出中第一个TAB之前的字段为key,后面的部分全部为value。若指定了AS
,则严格按照AS
后面的字段数输出,例如AS dt, uid
,则输出前两个字段并忽略后面的字段。此外,AS
语句可以指定数据类型,如AS (date STRING, count INT)
。默认都是string
类型。 CLUSTER BY
关键字是DISTRIBUTE BY
和SORT BY
的简写,这两者可以认为对应与Hadoop的partition和sort过程。如果partition和sort的key是不同的,可以使用DISTRIBUTE BY
和SORT BY
分别指定。MAP
和REDUCE
关键字是SELECT TRANSFORM
关键字的别名,原文中给出了上面等价代码- 因此,原文中特别提醒,
MAP
并没有强制产生一个map过程的作用,REDUCE
同理。只是为了阅读更清晰。
FROM (
FROM pv_users
MAP pv_users.userid, pv_users.date
USING 'map_script'
AS dt, uid
CLUSTER BY dt
) map_output
INSERT OVERWRITE TABLE pv_users_reduced
REDUCE map_output.dt, map_output.uid
USING 'reduce_script'
AS date, count;
转自:https://blog.csdn.net/u013385925/article/details/78780798