![](https://img-blog.csdnimg.cn/20201014180756925.png?x-oss-process=image/resize,m_fixed,h_64,w_64)
Flink
tom_fans
这个作者很懒,什么都没留下…
展开
-
Flink keyed State
Flink做sum, reduce等聚合的时候,我们一般直接使用Flink自带的sum, reduce来完成,有的需求需要自己写代码来完成。这其中的原理就是keyed state. 具体 可以参考: https://ci.apache.org/projects/flink/flink-docs-release-1.10/zh/dev/stream/state/state.html 所以keyed state就是状态的意思,根据key做分区,每次计算的值要做记录,这样下次可以在这个 值的基础上做累加,.原创 2020-06-16 05:31:01 · 326 阅读 · 0 评论 -
Flink DataStream window/join
join操作一定是根据窗口来进行的,这一点很容易理解,如果没有窗口的概念 ,JOIN的规则应该怎么算?此处简单起见,使用processTime来处理。 import org.apache.flink.api.common.functions.FilterFunction; import org.apache.flink.api.common.functions.JoinFunction; import org.apache.flink.api.common.functions.MapFunction;原创 2020-06-15 04:19:32 · 284 阅读 · 0 评论 -
实时数仓的概念及实现方式
目前企业数据架构基本也就包含3种模式,离线数仓,实时数仓,实时流。 离线数仓没有任何歧义,实时数仓和实时流之前有什么区别呢?从技术实现上,实时数仓肯定可以通过实时流来实现的,那么为什么会把这2种东西做一个区分. 在概念上,数据主题和指标会有很多,通常离线做一套,实时也会做一套,保证有些指标能实时的出数据,这部分实际上是更多的倾向报表类型,比如公司的大屏展示,而很多业务系统也需要实时的计算数据,不仅仅是报表,这部分的计算相比实时流会更复杂,会涉及到比较复杂的多表关联的问题。 比如计算每种产品销售量或者销售额原创 2020-06-14 14:37:56 · 1731 阅读 · 0 评论 -
Flink DataSet获取变量的4种方式
1. 通过广播变量获取 import org.apache.flink.api.common.functions.RichFlatMapFunction; import org.apache.flink.api.java.DataSet; import org.apache.flink.api.java.ExecutionEnvironment; import org.apache.flink.configuration.Configuration; import org.apache.flink.u原创 2020-06-11 15:56:40 · 968 阅读 · 0 评论 -
Flink waterMark
import org.apache.flink.api.common.functions.FoldFunction; import org.apache.flink.api.common.functions.MapFunction; import org.apache.flink.api.java.tuple.Tuple2; import org.apache.flink.streaming.api.TimeCharacteristic; import org.apache.flink.streaming.原创 2020-06-11 14:27:22 · 155 阅读 · 0 评论 -
Flink SQL
import org.apache.flink.api.common.functions.MapFunction; import org.apache.flink.api.common.typeinfo.BasicTypeInfo; import org.apache.flink.api.java.tuple.Tuple2; import org.apache.flink.api.java.typeutils.RowTypeInfo; import org.apache.flink.streaming.a.原创 2020-06-10 04:58:14 · 440 阅读 · 0 评论 -
Flink JDBCOutputFormat
从数据库查询,或者插入到数据库,使用自带的JDBCOutputFormat。 import org.apache.flink.api.common.functions.MapFunction; import org.apache.flink.api.common.typeinfo.BasicTypeInfo; import org.apache.flink.api.java.DataSet; import org.apache.flink.api.java.ExecutionEnvironment;原创 2020-06-10 02:00:56 · 1856 阅读 · 0 评论