1、spark-sql可以直接使用hive的自定义函数,而不需要重新写一套spark-sql的自定义函数,这里较大家一个简单的配置方式即可
2、将hive的自定义函数jar拷贝到/usr/lib/spark-current/jars,我们的jar是先存在oss,所以用下面的命令,
osscmd get --host=oss-cn-hangzhou-internal.aliyuncs.com --id=accessid --key=accesskey oss://bigdata-cps-test/hive-udx-0.2-jar-with-dependencies.jar /usr/lib/spark-current/jars/hive-udx-0.2-jar-with-dependencies.jar
3、创建自定义函数
DROP FUNCTION IF EXISTS call_tree_pattern;
CREATE FUNCTION call_tree_pattern AS 'com.xx.gateway.elastic.udf.xxxUDF';
4、如果我们的项目从hsql迁移到spark-sql,就可以很平滑的把自定函数迁移过来了