![](https://img-blog.csdnimg.cn/20200527100559628.png?x-oss-process=image/resize,m_fixed,h_224,w_224)
Flink
学习 Flink 的过程中,对相关知识点的总结
朱古力...
这个作者很懒,什么都没留下…
展开
-
05 Flink Sink
Flink Sink文章目录Flink Sink1. Kafka2. Redis3. JDBC 自定义 sinkFlink 没有类似于 Spark 中 foreach 方法,让用户进行迭代的操作。所以对外的输出操作都要利用 Sink 完成,最后通过类似如下的方式完成整个任务最终的输出操作。stream.addSink(new MySink(...))1. Kafkapom.xml<dependency> <groupId>org.apache.flink原创 2020-06-03 17:03:18 · 131 阅读 · 0 评论 -
04 Flink 支持的数据类型
Flink 支持的数据类型文章目录Flink 支持的数据类型1. 基础数据类型2. Java 和 Scala 元组 (Tuples)3. Scala 样例类 (case class)4. Java 简单对象 (POJOs)5. 其他1. 基础数据类型Flink 支持 Java 和 Scala 基础数据类型,如 Int、Double、Long、String …val stream: DataStream[Long] = env.fromElements(1L, 2L, 3L)2. Java原创 2020-06-01 14:43:07 · 294 阅读 · 0 评论 -
03 Flink 之Transform转换算子
Flink 之 Transform转换算子文章目录Flink 之 Transform转换算子1. map2. flatMap3. filter4. keyBy5. 滚动聚合算子(Rolling Aggregation)6. reduce7. split 和 select7.1 split7.2 select8. connect 和 coMap8.1 connect8.2 coMap 、 coFlatMap9. union10. connect 和 union 的区别1. map作用: 对输入元素原创 2020-06-01 12:29:04 · 312 阅读 · 0 评论 -
02 Flink 之读取数据
Flink 之读取数据文章目录Flink 之读取数据1. 从集合中读取数据2. 从文件中读取数据3. 从 Kafka 消息队列中的数据作为来源4. 自定义 Source1. 从集合中读取数据import org.apache.flink.streaming.api.scala.{DataStream, StreamExecutionEnvironment}import org.apache.flink.api.scala._// 创建样例类case class SensorReading(id原创 2020-05-29 20:47:54 · 655 阅读 · 0 评论 -
01 Flink:第一个 WordCount 程序
第一个 WordCount 程序文章目录第一个 WordCount 程序1. 批处理 WordCount2. 流处理 WordCount1. 批处理 WordCountimport org.apache.flink.api.scala._// 批处理 WordCountobject BatchWordCount { def main(args: Array[String]): Unit = { // 1.创建执行环境 val env: ExecutionEnvironmen原创 2020-05-27 10:12:24 · 86 阅读 · 0 评论