Flink SQL Client注册SCALA UDF完整流程

UDF的完整maven工程與SQL

https://github.com/appleyuchi/Flink_SQL_Client_UDF

 

完整操作步骤

①mvn scala:compile package

 

②编译得到的jar放入到集群的下面，最终路径如下(不一定非要下面这个路径，也可以是其他你自己指定的路径):

$FLINK_HOME/lib/flink-udf-1.0-SNAPSHOT.jar

 

③$FLINK_HOME/conf/flink-conf.yaml中末尾加入这么一句

​ flink.execution.jars: $FLINK_HOME/lib/flink-udf-1.0-SNAPSHOT.jar ​

上面的jar只要放到你启动flink sql client 的那个节点中的$FLINK_HOME/lib下面即可，不需要同步到其他节点

不要问如果我有多个udf的jar怎么办，

凉拌，

自己去把所有udf整合到一个jar中来．

 

④启动Flink SQL Client

输入

create temporary function scalaupper as 'org.apache.zeppelin.flink.udf.ScalaUpper';

如果你是先启动Flink SQL Client,后把jar拷贝到②中，那么必须重启Flink sql client，否则会识别不到该jar。

 

⑤Flink SQL Client中定义source

不用担心输入的数据是多少，SQL中的datagen随机给你生成．

具体的定義source的SQL见上面的git

⑥调用UDF

select scalaupper(product_name) from orders;

操作过程截图

 

实验结果截图

 

可能遇到的报错

[ERROR] Could not execute SQL statement. Reason:
java.lang.ClassNotFoundException: Hashstring
这是因为，这个jar是你启动flink集群后才拷贝过去的．

Flink SQL Client加载包含udf的flink-udf-1.0-SNAPSHOT.jar只有两种办法:

①flink-udf-1.0-SNAPSHOT.jar拷贝到$FLINK_HOME/lib下面后重启Flink集群

②$FLINK_HOME/bin/sql-client.sh embedded -j $FLINK_HOME/lib/flink-udf-1.0-SNAPSHOT.jar