Hive深入浅出Transform-Scripts

最新推荐文章于 2023-07-07 14:42:05 发布

小白数据猿

最新推荐文章于 2023-07-07 14:42:05 发布

阅读量562

点赞数

分类专栏： Hadoop&Hive 文章标签： hive 大数据

本文链接：https://blog.csdn.net/lidongmeng0213/article/details/110878902

版权

本文介绍了Hive的Transform功能，允许在SQL中调用自定义脚本，如Python，awk，sed等。通过Transform关键字，可以处理Hive中未内置的功能，无需编写UDF。文章详细讨论了脚本编写、具体使用、遇到的问题（如分隔符、空值处理和复杂数据结构），并提供了使用Transform处理复杂数据结构的输入和输出格式。同时，也提醒了使用Python进行数据清洗时可能面临的内存和CPU管理问题。

摘要由CSDN通过智能技术生成

前面我们讲解了UDF，UDAF，UDTF的原理以及实现思路，本文我们介绍一种轻量级的自定义函数的实现方法，Hive的TRANSFORM关键字提供了在SQL中调用自写脚本的功能，适合实现Hive中没有的功能又不想写UDF的情况。

使用实例

脚本编写

我们来看一个具体的实例，比较简单，直接读取列的值，解析出来，然后在封装返回，没有做任何业务处理，如下所示:

#!/usr/bin/python

import sys

for line in sys.stdin:
    // 多列以\t分割
    a, b = line.strip().split

最低0.47元/天解锁文章

小白数据猿

关注

0
点赞
踩
1

收藏

觉得还不错? 一键收藏
0
评论
Hive深入浅出Transform-Scripts

前面我们讲解了UDF，UDAF，UDTF的原理以及实现思路，本文我们介绍一种轻量级的自定义函数的实现方法，Hive的TRANSFORM关键字提供了在SQL中调用自写脚本的功能，适合实现Hive中没有的功能又不想写UDF的情况。使用实例脚本编写我们来看一个具体的实例，比较简单，直接读取列的值，解析出来，然后在封装返回，没有做任何业务处理，如下所示:#!/usr/bin/pythonimport sysfor line in sys.stdin: // 多列以\t分割 a, .
复制链接

扫一扫