Flink批处理开发
Flink 应用程序结构主要包含三部分,Source/Transformation/Sink,如下图所示:
Source: 数据源,Flink 在流处理和批处理上的 source 大概有 4 类:
基于本地集合的 source
基于文件的 source
基于网络套接字的 source
自定义的 source。自定义的 source 常见的有 Apache kafka、Amazon Kinesis Streams、RabbitMQ、Twitter
Streaming API、Apache NiFi 等,当然你也可以定义自己的 source。
Transformation:数据转换的各种操作,有 Map / FlatMap / Filter / KeyBy / Reduce / Fold / Aggregations / Window
/ WindowAll / Union / Window join / Split / Select / Project 等,操作很多,可以将数据转换计算成你想要的数据。
Sink:接收器,Flink 将转换计算后的数据发送的地点 ,你可能需要存储下来,Flink 常见的 Sink 大概有如下几
类:
写入文件、
打印输出、
写入 socket 、
自定义的 sink 。自定义的 sink 常见的有 Apache kafka、RabbitMQ、MySQL、ElasticSearch、Apache
Cassandra、Hadoop FileSystem 等,同理你也可以定义自己的 Sink。
Flink批处理DataSource
Flink 做为一款流式计算框架,它可用来做批处理,即处理静态的数据集、历史的数据集;也可以用来做流处理,即
实时的处理些实时数据流,实时的产生数据流结果,只要数据源源不断的过来,Flink 就能够一直计算下去,这个
Data Sources 就是数据的来源地。
Flink在批处理中常见的source主要有两大类。
基于本地集合的source(Collection-based-source)
基于文件的source(File-based-source)
基于本地集合的Source
在Flink中最常见的创建本地集合的DataSet方式有三种。
1.使用env.fromElements(),这种方式也支持Tuple,自定义对象等复合形式。
2.使用env.fromCollection(),这种方式支持多种Collection的具体类型。
3.使用env.generateSequence(),这种方法创建基于Sequence的DataSet。
读取本地文件
package com.ccj.pxj.heima
import org.apache.flink.api.scala._
import scala.collection.mutable
import scala.collection.mutable.{ArrayBuffer, ListBuffer}
object BatchDemo {
def main(args: Array[String]): Unit = {
val env: ExecutionEnvironment = ExecutionEnvironment.getExecutionEnvironment
val ds0: DataSet[String] = env.fromElements("spark", "flink")
ds0.print()
val ds1: DataSet[(Int, String)] = env.fromElements((1, "spark"), (2, "flink"))
ds1.print()
val ds2: DataSet[String] = env.fromCollection(Array("spark", "flink"))
ds2.print()
val ds3: DataSet[String] = env.fromCollection(ArrayBuffer("spark", "flink"))
ds3.print()
val ds4: DataSet[String] = env.fromCollection(List("spark", "flink"))
ds4.print()
val ds5 = env.fromCollection(ArrayBuffer("spark", "flink"))
ds5.print()
var ds6=env.fromCollection(List("spark", "flink"))
var ds7=env.fromCollection(ListBuffer("spark", "flink"))
var ds8=env.fromCollection(Vector("spark", "flink"))
var ds9=env.fromCollection(mutable.Queue("spark", "flink"))
var ds10=env.fromCollection(mutable.Stack("spark", "flink"))
var ds11=env.fromCollection(Stream("spark", "flink"))
var ds12=env.fromCollection(Seq("spark", "flink"))
var ds13=env.fromCollection(Set("spark", "flink"))
var ds14=env.fromCollection(Iterable("spark", "flink"))
val ds15=env.fromCollection(mutable.ArraySeq("spark", "flink"))
val ds16=env.fromCollection(mutable.ArrayStack("spark", "flink"))
val ds17=env.fromCollection(Map(1 -> "spark", 2 -> "flink"))
val ds18=env.fromCollection(Range(1, 9))
val ds19=env.generateSequence(1, 9)
ds6.print()
ds7.print()
ds8.print()
ds9.print()
ds10.print()
ds11.print()
ds12.print()
ds13.print()
ds14.print()
ds15.print()
ds16.print()
ds17.print()
ds18.print()
ds19.print()
}
}
读取HDFS文件数据
package com.ccj.pxj.heima
import org.apache.flink.api.scala._
object BatchHDFFromFile {
def main(args: Array[String]): Unit = {
val env = ExecutionEnvironment.getExecutionEnvironment
env.readTextFile("hdfs://pxj60:9000//data/hive/mulit_file/1.txt").print()
}
}
读取CSV文件数据
package com.ccj.pxj.heima
import org.apache.flink.api.scala._
object BatchFromCsvFile {
def main(args: Array[String]): Unit = {
val env: ExecutionEnvironment = ExecutionEnvironment.getExecutionEnvironment
val dast: DataSet[Score] = env.readCsvFile[Score]("./data/score.csv")
dast.print()
}
}
case class Score(id:Int,name:String,subjectId:Int,score:Double)
读取压缩文件
package com.ccj.pxj.heima
import org.apache.flink.api.scala._
object BatchFromCompressFile {
def main(args: Array[String]): Unit = {
val env: ExecutionEnvironment= ExecutionEnvironment.getExecutionEnvironment
val ee: DataSet[String] = env.readTextFile("E:\\cyrus-sasl-2.1.27.tar.gz")
ee.print()
}
}
遍历目录
package com.ccj.pxj.heima
import org.apache.flink.api.scala._
import org.apache.flink.configuration.Configuration
object BatchFromFolder{
def main(args: Array[String]): Unit = {
//初始化环境
val env: ExecutionEnvironment = ExecutionEnvironment.getExecutionEnvironment
// recursive.file.enumeration 开启递归
val conf: Configuration = new Configuration
conf.setBoolean("recursive.file.enumeration",true)
env.readTextFile("G:\\apache-maven-3.6.3").withParameters(conf).print()
}
}
作者:pxj
日期:2021-07-24 14:07:36