【Python】实现Hive的UDF（案例）

目录

构成

一、Python部分

二、HQL部分

三、案例

---

构成

一、Python脚本实现想要实现的功能。

二、另外一个部分为HQL部分，调用Python脚本对数据进行处理。

一、Python部分

HQL调用Python实现的UDF其实有一个重定向的过程，

Python编写的UDF其实是一个重定向的过程，将HIVE中的列读入到Pyhon中，按行操作，首先将每行按照指定的分隔符分开，一般为'\t'，然后对其进行操作，print需要的列，以'\t'分割。

二、HQL部分

--首先需要添加Python文件 add file pythonfile_location;

--然后通过transform(指定的列) ，指定的列是需要处理的列

select transform(指定的列) using "python filename" as (newname) --newname指输出的列的别名

注意:使用transform的时候不能查询别的列 
比如：

select a,trans(b,c) using "python udf.py" as(d,e)
  from t
 where d='2018-08-27'

三、案例

实现输入一个价格，输出这个价格的20个价格区间。

如输入价格290，那么输出最大值为300的20个价格区间