Hive学习之Transform/Map-Reduce语法

最新推荐文章于 2024-09-26 10:39:47 发布

skyWalker_ONLY

最新推荐文章于 2024-09-26 10:39:47 发布

阅读量6.6k

点赞数

分类专栏： Hive 勤奋的Hive 文章标签： Hive Transform Map-Reduce

本文链接：https://blog.csdn.net/skywalker_only/article/details/37879187

版权

勤奋的Hive 同时被 2 个专栏收录

33 篇文章 17 订阅 ¥9.90 ¥99.00

订阅专栏

Hive

32 篇文章 31 订阅 ¥9.90 ¥99.00

订阅专栏

本文介绍了如何在Hive中利用Transform从句嵌入自定义的Mapper和Reducer脚本，详细阐述了数据如何在传输给用户脚本前进行处理，以及脚本输出如何被解释为表中的数据类型。默认情况下，列被转化为字符串并用TAB分隔，NULL值转为N。用户可以使用ROW FORMAT覆盖默认分隔。通过实例展示了在不指定AS从句时，脚本输出的key和value解析方式，并提及了CLUSTER BY在未指定输出模式下的应用。

摘要由CSDN通过智能技术生成

使用Hive的用户可以在数据流中插入自定义的Mappers和Reducers，为了运行自定义的Mapper和Reducer脚本，用户可以使用下面的命令，该命令使用TRANSFORM从句嵌入Mapper和Reducer脚本：

query:
  FROM(
    FROM src
    MAPexpression (',' expression)*
    (inRowFormat)?
    USING 'my_map_script'
    (AS colName (',' colName)* )?
    (outRowFormat)?(outRecordReader)?
    (clusterBy? | distributeBy? sortBy? ) src_alias
  )
  REDUCE expression (',' expression)*
    (inRowFormat)?
    USING 'my_reduce_script'
    (AS colName (',' colName)* )?
    (outRowFormat)?(outRecordReader)?
 
  FROM(
    FROM src
    SELECT TRANSFORM '(' expression (',' expression)* ')'
    (inRowForma

了解本专栏