hive语句嵌入python脚本（进行map和reduce，实现左外连接）

在Hive语句中使用脚本（如python和shell）进行map和reduce：利用命令transform（或者指定map和reduce），配合加入的脚本文件add file

请看：http://www.coder4.com/archives/4052

别名后面as省略也行，空格直接加，如: table app_stats t1, app_data t2;

先举一个小例子：

add file ${python_script_path}/lanch_interval_count.py;
drop table temp_lanch_interval2;
create table temp_lanch_interval2 as
select reportdate, appid,channelname, app_version, deviceid,ts,sameday
from
(
  from
   (
     from
      (
        select fl.reportdate, fl.appid, 1 as app_version,fn.channelname,fl.deviceid,fl.linux_time
                       from (select reportdate, appid, app_version,deviceid,linux_time  from factloglanch WHERE dt>=  ?  and dt<=  ?  ) fl
left outer join factnewuser_nodimid fn on (fl.deviceid = fn.deviceid and fl.appid = fn.appid)
      ) a
     map reportdate, appid, channelname,app_version, deviceid,linux_time  using '/bin/cat'
     as reportdate, appid, channelname,app_version, deviceid,linux_time
     cluster by appid, channelname,deviceid
   ) b
   reduce reportdate, appid, channelname,app_version, deviceid,linux_time using 'lanch_interval_count.py'
          as reportdate, appid,app_version,  channelname,deviceid,ts,sameday
) c

 

 

具体说明，引一篇讲的很好的博客：http://www.coder4.com/archives/4052

Hive中的TRANSFORM:使用脚本完成Map/Reduce

hive> select * from test;
OK
1       3
2       2
3       1

要输出每一列的md5值,hive中是没有这个udf,用Python的代码#!/home/tops/bin/python

#!/home/tops/bin/python
import sys
import hashlib

for line in sys.stdin:
    line = line.strip()
    arr = line.split()
    md5_arr = []
    for a in arr:
        md5_arr.append(hashlib.md5(a).hexdigest())
    print "\t".join(md5_arr)
 
在Hive中使用脚本（如，python和shell），首先要将他们加入：
add file /xxxx/test.py

然后，在程序中使用TRANSFORM语法调用：
SELECT
    TRANSFORM (col1, col2) USING './test.py' AS (new1, new2)
FORM test;
其中，AS指定输出列，分别对应的列名。如果省略这句，Hive会将第1个tab前的结果作为key，后面其余作为value。
注意：TRANSFORM的分割符号，永远是\t。传入、传出脚本时都默认必须使用\t。没有其他分隔符
所以会出问题，在结合INSERT [OVERWRITE] table使用时，目标表的分隔符不是\t，是其他分隔符如';'，
这样就会出错。

直接使用map 和reduce命令：

SELECT MAP (…)  USING ‘xx.py’是使用的语法，
MAP、REDUCE只不过是TRANSFORM的别名，Hive不保证一定会在map/reduce中调用脚本。看看官方文档是怎么说的：
Formally, MAP ... and REDUCE ... are syntactic transformations of SELECT TRANSFORM ( ... ). In
other words, they serve as comments or notes to the reader of the query.
BEWARE: Use of these keywords may be dangerous as (e.g.) typing "REDUCE" does not force a reduce phase
to occur and typing "MAP" does not force a new map phase!
所以，混用map reduce语法关键字可能会引起混淆，所以建议都用TRANSFORM。
如果不是脚本文件，而是awk、sed等系统内置命令，可以直接使用（不用add file），如：
map reportdate, appid, channelname,app_version, deviceid,linux_time  using '/bin/cat'
     as reportdate, appid, channelname,app_version, deviceid,linux_time
     cluster by appid, channelname,deviceid
 
如果，表中有MAP，ARRAY等复杂类型，
CREATE TABLE features
(
    id BIGINT,
    norm_features MAP<STRING, FLOAT>
);
用TRANSFORM命令进行操作，就是将脚本文件的输出，设置为对应格式，Python里面就是print出对应的格式，而复杂类型就用其对应的分隔符
如，MAP类型的KV分割符。
SELECT TRANSFORM(stuff)
USING 'script'
AS (thing1 INT, thing2 MAP<STRING, FLOAT>)