flink的Source

Flink批处理开发

Flink 应用程序结构主要包含三部分,Source/Transformation/Sink,如下图所示:
Source: 数据源,Flink 在流处理和批处理上的 source 大概有 4 类:
基于本地集合的 source
基于文件的 source
基于网络套接字的 source
自定义的 source。自定义的 source 常见的有 Apache kafka、Amazon Kinesis Streams、RabbitMQ、Twitter
Streaming API、Apache NiFi 等,当然你也可以定义自己的 source。
Transformation:数据转换的各种操作,有 Map / FlatMap / Filter / KeyBy / Reduce / Fold / Aggregations / Window
/ WindowAll / Union / Window join / Split / Select / Project 等,操作很多,可以将数据转换计算成你想要的数据。
Sink:接收器,Flink 将转换计算后的数据发送的地点 ,你可能需要存储下来,Flink 常见的 Sink 大概有如下几
类:
写入文件、
打印输出、
写入 socket 、
自定义的 sink 。自定义的 sink 常见的有 Apache kafka、RabbitMQ、MySQL、ElasticSearch、Apache
Cassandra、Hadoop FileSystem 等,同理你也可以定义自己的 Sink。

Flink批处理DataSource

Flink 做为一款流式计算框架,它可用来做批处理,即处理静态的数据集、历史的数据集;也可以用来做流处理,即
实时的处理些实时数据流,实时的产生数据流结果,只要数据源源不断的过来,Flink 就能够一直计算下去,这个
Data Sources 就是数据的来源地。
Flink在批处理中常见的source主要有两大类。
基于本地集合的source(Collection-based-source)
基于文件的source(File-based-source)
基于本地集合的Source
在Flink中最常见的创建本地集合的DataSet方式有三种。
1.使用env.fromElements(),这种方式也支持Tuple,自定义对象等复合形式。
2.使用env.fromCollection(),这种方式支持多种Collection的具体类型。
3.使用env.generateSequence(),这种方法创建基于Sequence的DataSet。

读取本地文件
package com.ccj.pxj.heima
import org.apache.flink.api.scala._
import scala.collection.mutable
import scala.collection.mutable.{ArrayBuffer, ListBuffer}
object BatchDemo {
  def main(args: Array[String]): Unit = {
    val env: ExecutionEnvironment = ExecutionEnvironment.getExecutionEnvironment
    val ds0: DataSet[String] = env.fromElements("spark", "flink")
    ds0.print()
    val ds1: DataSet[(Int, String)] = env.fromElements((1, "spark"), (2, "flink"))
    ds1.print()
    val ds2: DataSet[String] = env.fromCollection(Array("spark", "flink"))
    ds2.print()
    val ds3: DataSet[String] = env.fromCollection(ArrayBuffer("spark", "flink"))
    ds3.print()
    val ds4: DataSet[String] = env.fromCollection(List("spark", "flink"))
    ds4.print()
    val ds5 = env.fromCollection(ArrayBuffer("spark", "flink"))
    ds5.print()
    var ds6=env.fromCollection(List("spark", "flink"))
    var ds7=env.fromCollection(ListBuffer("spark", "flink"))
    var ds8=env.fromCollection(Vector("spark", "flink"))
    var ds9=env.fromCollection(mutable.Queue("spark", "flink"))
    var ds10=env.fromCollection(mutable.Stack("spark", "flink"))
    var ds11=env.fromCollection(Stream("spark", "flink"))
    var ds12=env.fromCollection(Seq("spark", "flink"))
    var ds13=env.fromCollection(Set("spark", "flink"))
    var ds14=env.fromCollection(Iterable("spark", "flink"))
    val ds15=env.fromCollection(mutable.ArraySeq("spark", "flink"))
    val ds16=env.fromCollection(mutable.ArrayStack("spark", "flink"))
    val ds17=env.fromCollection(Map(1 -> "spark", 2 -> "flink"))
    val ds18=env.fromCollection(Range(1, 9))
    val ds19=env.generateSequence(1, 9)
    ds6.print()
    ds7.print()
    ds8.print()
    ds9.print()
    ds10.print()
    ds11.print()
    ds12.print()
    ds13.print()
    ds14.print()
    ds15.print()
    ds16.print()
    ds17.print()
    ds18.print()
    ds19.print()
  }
}
读取HDFS文件数据
package com.ccj.pxj.heima
import org.apache.flink.api.scala._
object BatchHDFFromFile {
  def main(args: Array[String]): Unit = {
    val env = ExecutionEnvironment.getExecutionEnvironment
    env.readTextFile("hdfs://pxj60:9000//data/hive/mulit_file/1.txt").print()
  }
}
读取CSV文件数据
package com.ccj.pxj.heima
import org.apache.flink.api.scala._
object BatchFromCsvFile {
  def main(args: Array[String]): Unit = {
    val env: ExecutionEnvironment = ExecutionEnvironment.getExecutionEnvironment
    val dast: DataSet[Score] = env.readCsvFile[Score]("./data/score.csv")
    dast.print()
  }
}
case class Score(id:Int,name:String,subjectId:Int,score:Double)
读取压缩文件
package com.ccj.pxj.heima
import org.apache.flink.api.scala._
object BatchFromCompressFile {
  def main(args: Array[String]): Unit = {
    val env: ExecutionEnvironment= ExecutionEnvironment.getExecutionEnvironment
    val ee: DataSet[String] = env.readTextFile("E:\\cyrus-sasl-2.1.27.tar.gz")
    ee.print()
  }
}
遍历目录
package com.ccj.pxj.heima
import org.apache.flink.api.scala._
import org.apache.flink.configuration.Configuration
object BatchFromFolder{
  def main(args: Array[String]): Unit = {
     //初始化环境
    val env: ExecutionEnvironment = ExecutionEnvironment.getExecutionEnvironment
     // recursive.file.enumeration 开启递归
    val conf: Configuration = new Configuration
    conf.setBoolean("recursive.file.enumeration",true)
    env.readTextFile("G:\\apache-maven-3.6.3").withParameters(conf).print()
  }
}

作者:pxj
日期:2021-07-24 14:07:36

  • 0
    点赞
  • 0
    收藏
    觉得还不错? 一键收藏
  • 0
    评论

“相关推荐”对你有帮助么?

  • 非常没帮助
  • 没帮助
  • 一般
  • 有帮助
  • 非常有帮助
提交
评论
添加红包

请填写红包祝福语或标题

红包个数最小为10个

红包金额最低5元

当前余额3.43前往充值 >
需支付:10.00
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明:

1.余额是钱包充值的虚拟货币,按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载,可以购买VIP、付费专栏及课程。

余额充值