hive常用的函数和udf开发

最新推荐文章于 2024-09-23 11:11:25 发布

kClown1

最新推荐文章于 2024-09-23 11:11:25 发布

阅读量724

点赞数

本文链接：https://blog.csdn.net/qq_43227570/article/details/90208163

版权

本文介绍了Hive中的UDF开发，包括继承UDF类并重载evaluate方法。此外，还详细讲解了使用Python脚本进行transform开发以及Hive中的一些常见函数，如row_number()、datediff()、date_add()、date_sub()、条件函数、字符串函数等，为数据处理提供便利。

摘要由CSDN通过智能技术生成

hive的udf开发

继承udf这个类，方法重载evaluate

1. add jar /opt/udftest.jar
2. create temporary function 功能名as  “主类路径”;

使用python脚本transform开发：

1. add FILE weekday_mapper.py;
2. SELECT TRANSFORM (必须是所有的字段，或者*)USING ‘python 脚本’ AS (生成的字段名)FROM t_rating;

数据：
{"movie":"3664","rate":"4","timeStamp":"961685303","uid":"5225"}
新建一张表加载进去数据
create table temp(line string);
脚本：
#!/bin/python
import sys
import datetime
import json
for line in sys.stdin:
        if line!='\n':
                result=json.loads(line.strip())
                movie=result['movie']
                rate=result['rate']
                uid=result['uid']
                weekday =datetime.datetime.fromtimestamp(float(result['timeStamp'])).