41.使用UDF

41.1 演示环境

• 集群Kerberos已启用
• 集群已安装Sentry服务且正常使用
• CM和CDH版本为5.11.2
• 采用sudo权限的ec2-user用户

41.2 操作演示

部署UDF JAR包

• 将开发好的UDF JAR包上传至HServer2及Metastore服务所在服务器统一目录
  • 注意：/usr/lib/hive-udf-jars目录及目录下文件的属主为hive，确保hive用户能访问

[ec2-user@ip-172-31-22-86 ~]$ sudo mkdir /usr/lib/hive-udf-jars
[ec2-user@ip-172-31-22-86 ~]$ sudo scp sql-udf-utils-1.0-SNAPSHOT.jar /usr/lib/hive-udf-jars/
[ec2-user@ip-172-31-22-86 ~]$ ll /usr/lib/hive-udf-jars/
total 4
-rwxr-xr-x 1 root root 2518 Nov  1 03:37 sql-udf-utils-1.0-SNAPSHOT.jar
[ec2-user@ip-172-31-22-86 ~]$ sudo chown -R hive:hive /usr/lib/hive-udf-jars  
[ec2-user@ip-172-31-22-86 ~]$ ll /usr/lib/hive-udf-jars/
total 4
-rwxr-xr-x 1 hive hive 2518 Nov  1 03:37 sql-udf-utils-1.0-SNAPSHOT.jar
[ec2-user@ip-172-31-22-86 ~]$ 

• 将开发好的UDF JAR上传至HDFS
  • 注意：/user/hive/udfjars和jar文件的所属用户必须为hive

[ec2-user@ip-172-31-22-86 ~]$ hadoop fs -ls /user/hive/udfjars
Found 1 items
-rw-r--r--   3 hive hive       2518 2017-11-01 03:49 /user/hive/udfjars/sql-udf-utils-1.0-SNAPSHOT.jar
[ec2-user@ip-172-31-22-86 ~]$

Hive配置

• 登录CM管理控制台，进入Hive服务
  • 点击配置，选择高级配置，在hive-site.xml文件中增加如下配置
    -注意：hive.reloadable.aux.jars.path路径为本地的/usr/lib/hive-udf-jars目录

<property>
    <name>hive.reloadable.aux.jars.path</name>
    <value>/usr/lib/hive-udf-jars</value>
</property>

• 保存配置，回到CM主页根据提示重启Hive服务

授权JAR文件

• 使用hive用户登录Hue管理台进行授权
• 进入Hive Tables管理页面，为admin角色增加授权

创建临时函数

• 通过beeline通过使用hive用户登录HiveServer2测试

[root@ip-172-31-22-86 ec2-user]# beeline 
Beeline version 1.1.0-cdh5.11.2 by Apache Hive
beeline> !connect jdbc:hive2://localhost:10000/;principal=hive/ip-172-31-22-86.ap-southeast-1.compute.internal@CLOUDERA.COM
scan complete in 2ms
...
0: jdbc:hive2://localhost:10000/> SELECT parse_date('2017-9-12 5:8:23', "yyyy-MM-dd HH:mm:ss")
. . . . . . . . . . . . . . . . > ;
Error: Error while compiling statement: FAILED: SemanticException [Error 10011]: Line 1:7 Invalid function 'parse_date' (state=42000,code=10011)
0: jdbc:hive2://localhost:10000/> 
0: jdbc:hive2://localhost:10000/> 
0: jdbc:hive2://localhost:10000/> 
0: jdbc:hive2://localhost:10000/> create temporary function parse_date as 'com.peach.date.DateUtils';
...
INFO  : OK
No rows affected (0.154 seconds)
0: jdbc:hive2://localhost:10000/> SELECT parse_date('2017-9-12 5:8:23', "yyyy-MM-dd HH:mm:ss")
. . . . . . . . . . . . . . . . > ;
...
INFO  : OK
+----------------------+--+
|         _c0          |
+----------------------+--+
| 2017-09-12 05:08:23  |
+----------------------+--+
1 row selected (0.229 seconds)
0: jdbc:hive2://localhost:10000/> 

• 退出再次使用beeline登录
  • 再次登录临时函数parse_date已不存在。

[root@ip-172-31-22-86 ec2-user]# beeline 
Beeline version 1.1.0-cdh5.11.2 by Apache Hive
beeline> !connect jdbc:hive2://localhost:10000/;principal=hive/ip-172-31-22-86.ap-southeast-1.compute.internal@CLOUDERA.COM
…
0: jdbc:hive2://localhost:10000/> SELECT parse_date('2017-9-12 5:8:23', "yyyy-MM-dd HH:mm:ss");
Error: Error while compiling statement: FAILED: SemanticException [Error 10011]: Line 1:7 Invalid function 'parse_date' (state=42000,code=10011)
0: jdbc:hive2://localhost:10000/> 

创建永久函数

• 使用hive用户登录Hue，在tpcds_text库下创建parse_date函数

CREATE FUNCTION parse_date as 'com.peach.date.DateUtils'

• 测试parse_date函数是否正常

Impala使用Hive的自定义UDF

• 在Impala shell命令行创建函数

[ip-172-31-26-80.ap-southeast-1.compute.internal:21000] > create function parse_date2(string, string) returns string location '/user/hive/udfjars/sql-udf-utils-1.0-SNAPSHOT.jar' symbol='com.peach.date.DateUtils';
Query: create function parse_date2(string, string) returns string location '/user/hive/udfjars/sql-udf-utils-1.0-SNAPSHOT.jar' symbol='com.peach.date.DateUtils'

Fetched 0 row(s) in 0.03s
[ip-172-31-26-80.ap-southeast-1.compute.internal:21000] >

• 使用UDF函数

[ip-172-31-26-80.ap-southeast-1.compute.internal:21000] > SELECT parse_date2('2017-9-12 5:8:23', "yyyy-MM-dd HH:mm:ss");
Query: select parse_date2('2017-9-12 5:8:23', "yyyy-MM-dd HH:mm:ss")
Query submitted at: 2017-11-01 08:58:54 (Coordinator: http://ip-172-31-26-80.ap-southeast-1.compute.internal:25000)
Query progress can be monitored at: http://ip-172-31-26-80.ap-southeast-1.compute.internal:25000/query_plan?query_id=154799fb3ae4df01:3032775a00000000
+-------------------------------------------------------------------+
| tpcds_text.parse_date2('2017-9-12 5:8:23', 'yyyy-mm-dd hh:mm:ss') |
+-------------------------------------------------------------------+
| 2017-09-12 05:08:23                                               |
+-------------------------------------------------------------------+
Fetched 1 row(s) in 0.03s
[ip-172-31-26-80.ap-southeast-1.compute.internal:21000] > 

• 总结
  • 在集群启用了Sentry后，使用Hive创建Function是不能使用USING JAR，所以在加载jar包时只能通过配置hive.reloadable.aux.jars.path路径。
  • 创建的临时函数只能在当前会话使用，如果会话关闭则临时函数失效，使用Hue创建的临时函数在退出账号重新登录任然可以使用，重启HiveServer2则临时函数失效。
  • 集群启用了Sentry服务，Hive创建函数时指定的是本地的jars，导致在Impala中无法直接使用Hive的函数，需要在Impala shell下重新创建。
  • Hive
    • 为用户授权JAR文件的GRANT ALL ON URI特权，则用户就可以在他们拥有写权限的数据库上创建Function（即使用户没有GRANT ALL ON SERVER权限）
    • 任何用户都可以DROP掉任何Function，不管它有什么权限，即使这个用户没有这个数据库的权限，也可以DROP掉这个数据库下的Function，只要带上Function的全路径，如：DROP FUNCTION dbname.funcname
    • 任何用户都可以使用创建好的Function，不管这个用户的权限，即使这个用户没有这个数据库的权限，只要带上function的全路径，就可以使用，如：SELECT dbname.funcname()
  • Impala
    • 只有拥有GRANT ALL ON SERVER权限的用户才能CREATE/DROP函数。
      任何用户都可以使用创建好的Function，不管这个用户的权限，即使这个用户没有这个数据库的权限，只要带上function的全路径，就可以使用，如：SELECT dbname.funcname()

大数据视频推荐：
CSDN
大数据语音推荐：
企业级大数据技术应用
大数据机器学习案例之推荐系统
自然语言处理
大数据基础
人工智能：深度学习入门到精通