![](https://img-blog.csdnimg.cn/20201014180756780.png?x-oss-process=image/resize,m_fixed,h_64,w_64)
flink
哈哈xxy
四方食事,不过一碗人间烟火。
展开
-
flink 六、flink stated状态管理和checkpoint容错机制
valueState object StateValue { /** * 使用valueState保存每个word的最小值 * @param args */ def main(args: Array[String]): Unit = { val environment: StreamExecutionEnvironment = StreamExecutionEnvironment.getExecutionEnvironment val dataStream: DataStream原创 2020-08-31 19:12:09 · 172 阅读 · 0 评论 -
flink 五、flink的window操作和水印机制
Flink 认为 Batch 是 Streaming 的一个特例,所以 Flink 底层引擎是一个流式引擎,在上面实现了流处理和批处理。而窗口(window)就是从 Streaming 到 Batch 的一个桥梁。Flink 提供了非常完善的窗口机制。 什么是window 在流式数据中,数据是连续的。有时我们需要根据业务做一些聚合类的操作,例如过去五分钟内用户浏览量的计算。这五分钟就是一个窗口。 窗口可以由时间或者数量来做区分 1.根据时间进行截取,比如每10分钟统计一次 2.根据消息数量进行统计,比如每1原创 2020-08-30 23:17:28 · 394 阅读 · 0 评论 -
flink 四、flink流处理
Flink流处理的Source 基于集合 基于文件 基于Socket 使用Kafka作为数据源 使用MySql作为数据源 自定义数据源 flink基于文件流或集合 object TextStream { def main(args: Array[String]): Unit = { val environment: StreamExecutionEnvironment = StreamExecutionEnvironment.getExecutionEnvironment envir原创 2020-08-30 22:04:23 · 304 阅读 · 0 评论 -
flink 三、flink批处理
DataSource类型算子 val environment: ExecutionEnvironment = ExecutionEnvironment.getExecutionEnvironment // 支持多种Collection的具体类型 val datasource1: DataSet[String] = environment.fromCollection(Array("a", "b", "c", "d")) // 支持Tuple,自定义对象等复合形式 va原创 2020-08-30 17:59:20 · 545 阅读 · 0 评论 -
flink 二、flink集群搭建
flink集群搭建 1、准备三台Linux机器,node01,node02,node03,基本环境构建 vi /etc/hosts 1,2步骤仅在一台机器上做即可 192.168.23.171 node01 192.168.23.172 node02 192.168.23.173 node03 删除原有的Java环境,构建1.8的jdk rpm -qa|grep jdk rpm -e –nodeps 上面查找出的Java 解压jdk.tar.gz 配置/etc/profile export JAVA_H原创 2020-08-30 17:07:55 · 291 阅读 · 0 评论 -
flink 一、wordCount入门示例
1、Java版本batch wordcount import org.apache.flink.api.common.functions.FlatMapFunction; import org.apache.flink.api.common.functions.MapFunction; import org.apache.flink.api.java.ExecutionEnvironment; import org.apache.flink.api.java.operators.AggregateOpera原创 2020-08-28 14:15:58 · 150 阅读 · 0 评论