flink
BugAngel233
学生
GitHub https://github.com/BugAngel
展开
-
URL ClassLoader 类加载器
URL ClassLoader 是 Java 用来加载远程类的类加载器。在 flink 中,启动时使用 -C 参数可以向集群中所有节点上的每个用户代码类加载器添加一个URL,这依靠的就是 URL ClassLoader 。ClassLoader 只能加载 classpath 下面的类,而 URL ClassLoader 可以加载任意路径下的类。它继承自 SecureClassLoader,SecureClassLoader 继承自 ClassLoader 。URL ClassLoader 可以从下面三个方原创 2020-12-27 18:38:10 · 834 阅读 · 0 评论 -
Flink 无参和常量参数UDF被优化为常量问题
如下代码所示,flink SQL 版本为1.9。UDFTest是一个UDF函数,它内部有一个定时线程,每秒拉取最新的结果,如服务器时间等。在flink运行过程中,发现时间不会改变。insert into test_tableselect UDFTest('时间测试') as idfrom source_table问题原因是,一些常量表达式,Flink 客户端在初始化的时候,执行了一次并缓存结果。之后每次调用都直接去读取缓存,而不是重新执行函数。像上面代码这样,参数均为常量,或没有参数时,flin原创 2020-12-27 18:18:50 · 285 阅读 · 0 评论 -
Flink 迭代流 IterativeStream 使用示例
Flink 迭代流可以用来解决部分数据需要重新计算的场景,包括扫码支付等。import org.apache.flink.api.common.functions.FilterFunction;import org.apache.flink.api.common.functions.FlatMapFunction;import org.apache.flink.api.java.tuple.Tuple2;import org.apache.flink.api.java.utils.Parameter原创 2020-12-27 19:50:49 · 1038 阅读 · 1 评论