![](https://img-blog.csdnimg.cn/20201014180756928.png?x-oss-process=image/resize,m_fixed,h_64,w_64)
flink
weixin_43315211
IT新人
展开
-
flink1.9 table API
TableEnvironment 支持功能对比TaableEnvironment 使用场景一:用户使用 Old planner,进行流计算的 Table 程序(使用 Table API 或 SQL 进行开发的程序 )的开发。这种场景下,用户可以使用 StreamTableEnvironment 或 TableEnvironment ,两者的区别是 StreamTableEnvironme...转载 2019-10-16 16:56:02 · 536 阅读 · 0 评论 -
flink stream join redis
package flink.stream.asyncIOSide;import com.github.benmanes.caffeine.cache.Cache;import com.github.benmanes.caffeine.cache.Caffeine;import io.vertx.core.Vertx;import io.vertx.core.VertxOptions;i...原创 2019-06-05 09:12:42 · 866 阅读 · 0 评论 -
flink stream join mysql
功能说明:对kafka中的流数据进行清洗,其中相关的配置文件存放在数据库中,需要将流数据与数据库中的配置文件进行关联,输出相应的结果。方式一:异步查询使用异步查询的方式,对数据流中的数据进行查询。代码如下:package flink.stream.asyncIOSide;import com.github.benmanes.caffeine.cache.Cache;import co...原创 2019-06-04 19:34:09 · 1534 阅读 · 0 评论 -
flink timeWindow
记录:功能需求:对每天(00:00:00-23:59:59)、每小时(00:00-59:59)这个两个区间段内的数据进行统计。发现滑动时间窗口不满足这个功能,查找资料后发现具有这个function:TumblingEventTimeWindows代码如下:可以对这种区间窗口进行聚合。示例代码:package flink.stream.streamAPI;import org.ap...原创 2019-06-06 15:28:45 · 1120 阅读 · 0 评论 -
flink time 及 watermark
package flink.windowTime;import org.apache.flink.api.common.functions.MapFunction;import org.apache.flink.api.java.tuple.Tuple;import org.apache.flink.api.java.tuple.Tuple2;import org.apache.flin...原创 2019-06-06 15:14:03 · 124 阅读 · 0 评论 -
flink stream broadcast广播变量
Apache Flink 官方文档提供了广播状态的功能以及有关 API 的详细指南。在使用广播状态时要记住以下4个重要事项:使用广播状态,operator task 之间不会相互通信广播状态中事件的顺序在各个并发实例中可能不尽相同所有 operator task 都会快照下他们的广播状态RocksDB 状态后端目前还不支持广播状态广播变量创建后,它可以运行在集群中的任何functio...原创 2019-05-14 10:48:26 · 5202 阅读 · 2 评论 -
flink连接kafka,postgresql sink
配置文件Baseconfpackage com.conf;public class BaseConf { public static final String USERNAME = "postgres"; public static final String PASSWORD = "passwd"; public static final String DRIVERN...原创 2019-03-12 17:40:06 · 3459 阅读 · 0 评论 -
flink连接postgresql数据库
写入postgresql数据库package jdbc.psql.csvtopsql;import org.apache.flink.api.common.functions.FlatMapFunction;import org.apache.flink.api.java.tuple.Tuple2;import org.apache.flink.streaming.api.datastr...原创 2019-03-08 16:50:11 · 9961 阅读 · 2 评论