云星数据---Apache Flink实战系列(精品版)】：Flink流处理API详解与编程实战012-Flink在流处理中常见的sink和source001

最新推荐文章于 2024-07-10 09:09:08 发布

李国华技术博客

最新推荐文章于 2024-07-10 09:09:08 发布

阅读量7.5k

点赞数 1

分类专栏： bigdata cloudcomputing flink 文章标签： api 编程数据批处理网络

本文链接：https://blog.csdn.net/liguohuaBigdata/article/details/78588931

版权

一、flink在流处理上的source

flink在流处理上的source和在批处理上的source基本一致。大致有4大类
1.基于本地集合的source（Collection-based-source）
2.基于文件的source（File-based-source）
3.基于网络套接字的source（Socket-based-source）
4.自定义的source（Custom-source）

1.基于本地集合的source

package code.book.stream.sinksource.scala

import org.apache.flink.streaming.api.scala.{StreamExecutionEnvironment, _}

import scala.collection.immutable.{Queue, Stack}
import scala.collection.mutable
import scala.collection.mutable.{ArrayBuffer, ListBuffer}

object DataSource001 {
  def main(args: Array[String]): Unit = {
    val senv = StreamExe