Flink批处理Transformation

最新推荐文章于 2023-09-12 15:43:19 发布
最新推荐文章于 2023-09-12 15:43:19 发布
阅读量246 收藏
点赞数
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/xwcj3/article/details/119089573
版权

Flink批处理Transformation

在这里插入图片描述

map

将DataSet中的每一个元素转换为另外一个元素

package com.ccj.pxj.heima.tran
import org.apache.flink.api.scala._
object MapTrans {
  def main(args: Array[String]): Unit = {
      //1. 获取 ExecutionEnvironment 运行环境
      val env: ExecutionEnvironment = ExecutionEnvironment.getExecutionEnvironment
      //2. 使用 fromCollection 构建数据源  List("1,张三", "2,李四", "3,王五", "4,赵六")
      val datsSet: DataSet[String] = env.fromCollection(List("1,张三", "2,李四", "3,王五", "4,赵六"))
    //4. 使用 map 操作执行转换
    val data: DataSet[User] = datsSet.map(x => {
      val dats: Array[String] = x.split(",")
      User(dats(0).toInt, dats(1))
    })
    //5. 打印测试
    data.print()
  }
}
//3. 创建一个 User 样例类
case class User(id:Int,name:String)
flatMap
package com.ccj.pxj.heima.tran
import org.apache.flink.api.scala._
object FlatmapTrans {
  def main(args: Array[String]): Unit = {
    val env: ExecutionEnvironment = ExecutionEnvironment.getExecutionEnvironment
    val datas: DataSet[String] = env.fromCollection(List(
      "张三,中国,江西省,南昌市",
      "李四,中国,河北省,石家庄市",
      "Tom,America,NewYork,Manhattan"
    ))
    val data: DataSet[Product with Serializable] = datas.flatMap(x => {
      val ss: Array[String] = x.split(",")
      List(
        (ss(0), ss(1)),
        (ss(0), ss(1), ss(2)),
        (ss(0), ss(1), ss(2), ss(2)))
    })
    data.print()
  
  }
}
mapPartition
package com.ccj.pxj.heima.tran
import org.apache.flink.api.scala._
object MapPartitionTrans {
  def main(args: Array[String]): Unit = {
    val env: ExecutionEnvironment = ExecutionEnvironment.getExecutionEnvironment
    val datas: DataSet[String] = env.fromCollection(List("1,张三", "2,李四", "3,王五", "4,赵六"))
    val data: DataSet[User] = datas.mapPartition(
      // 开启redis或者mysql的链接
      its => {
      its.map(x => {
        val Arr = x.split(",")
        User(Arr(0).toInt, Arr(1))
      })
        // 关闭redis或者mysql的链接
    })
    data.print()
  }
}
case class User(id:Int,name:String)
fiter
package com.ccj.pxj.heima.tran
import org.apache.flink.api.scala._
object FilterTrans {
  def main(args: Array[String]): Unit = {
    val env: ExecutionEnvironment = ExecutionEnvironment.getExecutionEnvironment
    val datas: DataSet[String] = env.fromCollection(List("hadoop", "hive", "spark", "flink"))
    val dasst = datas.filter(_.contains("h"))
    dasst.print()
  }
}
reducegroup
package com.ccj.pxj.heima.tran
import org.apache.flink.api.scala._
object reduceGroup {
  def main(args: Array[String]): Unit = {
    val env: ExecutionEnvironment = ExecutionEnvironment.getExecutionEnvironment
    val datas: DataSet[(String, Int)] = env.fromCollection(List(("java", 1), ("java", 1), ("scala", 1), ("scala", 1), ("flink", 1), ("pxj", 1)))
    val data: DataSet[(String, Int)] = datas.groupBy(_._1).reduceGroup(its => its.reduce(
      (x, y) => (x._1, x._2 + y._2)
    ))
    data.print()
  }
}
aggregate
package com.ccj.pxj.heima.tran
/**
 * 1. 获取 ExecutionEnvironment 运行环境
 * 2. 使用 fromCollection 构建数据源
 * 3. 使用 groupBy 按照单词进行分组
 * 4. 使用 aggregate 对每个分组进行 SUM 统计
 * 5. 打印测试
 */
import org.apache.flink.api.java.aggregation.Aggregations
import org.apache.flink.api.scala._
object AggregateTran{
   def main(args: Array[String]): Unit = {
     val env: ExecutionEnvironment = ExecutionEnvironment.getExecutionEnvironment
     val datas: DataSet[(String, Int)] = env.fromCollection(List(("java", 1), ("java", 1), ("scala", 1), ("scala", 1), ("flink", 1), ("pxj", 1)))
     val aggregateData: AggregateDataSet[(String, Int)] = datas.groupBy(0).aggregate(Aggregations.SUM, 1)
     aggregateData.print()
   }
 }
 (pxj,1)
(java,2)
(flink,1)
(scala,2)
Process finished with exit code 0
distinct
package com.ccj.pxj.heima.tran
import org.apache.flink.api.scala._
/**
 * 1. 获取 ExecutionEnvironment 运行环境
 * 2. 使用 fromCollection 构建数据源
 * 3. 使用 distinct 指定按照哪个字段来进行去重
 * 4. 打印测试
 *
 * */
object DistinctTran {
  def main(args: Array[String]): Unit = {
    val env: ExecutionEnvironment = ExecutionEnvironment.getExecutionEnvironment
    val datas: DataSet[(String, Int)] = env.fromCollection(List(("java", 1), ("java", 1), ("scala", 1)))
    datas.distinct(_._1).print()
  }
}
join
package com.ccj.pxj.heima.tran
import org.apache.flink.api.scala._
object JoinTran {
  def main(args: Array[String]): Unit = {
    val env: ExecutionEnvironment = ExecutionEnvironment.getExecutionEnvironment
    val subjectData: DataSet[Subject] = env.readCsvFile("./data/subject.csv")
    val scoreData: DataSet[Score] = env.readCsvFile("./data/score.csv")
    val joinData: JoinDataSet[Score, Subject] = scoreData.join(subjectData).where(2).equalTo(0)
    joinData.print()
  }
}
// 学科Subject（学科ID、学科名字）
case class Subject(id:Int, name:String)
// 成绩Score（唯一ID、学生姓名、学科ID、分数）
case class Score(id:Int, name:String, subjectId:Int, score:Double)


(Score(3,张三,3,89.0),Subject(3,英语))
(Score(9,李四,3,65.0),Subject(3,英语))
(Score(27,小七,3,78.0),Subject(3,英语))
(Score(21,赵六,3,65.0),Subject(3,英语))
(Score(15,王五,3,58.0),Subject(3,英语))
(Score(1,张三,1,98.0),Subject(1,语文))
(Score(11,李四,5,70.0),Subject(5,化学))
(Score(23,赵六,5,70.0),Subject(5,化学))
(Score(5,张三,5,78.0),Subject(5,化学))
(Score(6,张三,6,70.0),Subject(6,生物))
(Score(19,赵六,1,77.5),Subject(1,语文))
(Score(12,李四,6,78.0),Subject(6,生物))
(Score(13,王五,1,70.0),Subject(1,语文))
(Score(24,赵六,6,78.0),Subject(6,生物))
(Score(25,小七,1,78.0),Subject(1,语文))
(Score(29,小七,5,65.0),Subject(5,化学))
(Score(30,小七,6,78.0),Subject(6,生物))
(Score(17,王五,5,78.0),Subject(5,化学))
(Score(18,王五,6,98.0),Subject(6,生物))
(Score(7,李四,1,78.0),Subject(1,语文))
(Score(10,李四,4,78.0),Subject(4,物理))
(Score(22,赵六,4,78.0),Subject(4,物理))
(Score(28,小七,4,58.0),Subject(4,物理))
(Score(4,张三,4,65.0),Subject(4,物理))
(Score(16,王五,4,65.0),Subject(4,物理))
(Score(2,张三,2,77.5),Subject(2,数学))
(Score(20,赵六,2,89.0),Subject(2,数学))
(Score(14,王五,2,78.0),Subject(2,数学))
(Score(26,小七,2,70.0),Subject(2,数学))
(Score(8,李四,2,58.0),Subject(2,数学))
Process finished with exit code 0
union
package com.ccj.pxj.heima.tran
import org.apache.flink.api.scala._
/**
 * 1. 构建批处理运行环境
 * 2. 使用 fromCollection 创建两个数据源
 * 3. 使用 union 将两个数据源关联在一起
 * 4. 打印测试
 * */
object UnionTran {
  def main(args: Array[String]): Unit = {
    val env: ExecutionEnvironment = ExecutionEnvironment.getExecutionEnvironment
    val data1: DataSet[String] = env.fromCollection(List("hadoop", "hive", "flume"))
    val data2: DataSet[String] = env.fromCollection(List("hadoop", "hive", "spark"))
    data1.union(data2).print()
  }
}
rebalance

在这里插入图片描述

Flink也会产生 数据倾斜

的时候，例如：当前的数据量有10亿条，在处理过程就有可能发生如下状况：
rebalance 会使用轮询的方式将数据均匀打散，这是处理数据倾斜最好的选择。

在这里插入图片描述

package com.ccj.pxj.heima.tran
import org.apache.flink.api.common.functions.RichMapFunction
import org.apache.flink.api.scala._
/*
*1. 构建批处理运行环境
2. 使用 env.generateSequence 创建0-100的并行数据
3. 使用 fiter 过滤出来 大于8 的数字
4. 使用map操作传入 RichMapFunction ，将当前子任务的ID和数字构建成一个元组
 */
object RebanlanceTrans {
  def main(args: Array[String]): Unit = {
    val env: ExecutionEnvironment = ExecutionEnvironment.getExecutionEnvironment
    val generateData: DataSet[Long] = env.generateSequence(0, 100)
    val FliterData: DataSet[Long] = generateData.filter(_ > 8)
    val FliterData1: DataSet[Long] = generateData.filter(_ > 8).rebalance()
    val dataFliter1: DataSet[(Long, Long)] = FliterData.map(new RichMapFunction[Long, (Long, Long)] {
      override def map(in: Long): (Long, Long) = {
        (getRuntimeContext.getIndexOfThisSubtask, in)
      }
    })
    dataFliter1.print()
    println("-------------------------------")
    val dataFilter2: DataSet[(Long, Long)] = FliterData1.map(new RichMapFunction[Long, (Long, Long)] {
      override def map(in: Long): (Long, Long) = {
        (getRuntimeContext.getIndexOfThisSubtask,in)
      }
    })
    dataFilter2.print()
  }
}
(0,61)
(0,62)
(0,63)
(0,64)
(0,65)
(0,66)
(0,67)
(0,68)
(1,77)
(1,78)
(1,79)
(1,80)
(1,81)
(1,82)
(1,83)
(1,84)
(2,36)
(2,37)
(2,38)
(2,39)
(2,40)
(2,41)
(2,42)
(2,43)
(2,44)
(3,93)
(3,94)
(3,95)
(3,96)
(3,97)
(3,98)
(3,99)
(3,100)
(4,53)
(4,54)
(4,55)
(4,56)
(4,57)
(4,58)
(4,59)
(4,60)
(5,27)
(5,28)
(5,29)
(5,30)
(5,31)
(5,32)
(5,33)
(5,34)
(5,35)
(7,9)
(7,10)
(7,11)
(7,12)
(7,13)
(7,14)
(7,15)
(7,16)
(7,17)
(8,45)
(8,46)
(8,47)
(8,48)
(8,49)
(8,50)
(8,51)
(8,52)
(9,85)
(9,86)
(9,87)
(9,88)
(9,89)
(9,90)
(9,91)
(9,92)
(10,69)
(10,70)
(10,71)
(10,72)
(10,73)
(10,74)
(10,75)
(10,76)
(11,18)
(11,19)
(11,20)
(11,21)
(11,22)
(11,23)
(11,24)
(11,25)
(11,26)
-------------------------------
(0,72)
(0,60)
(0,11)
(0,29)
(0,94)
(0,82)
(0,19)
(1,85)
(1,73)
(1,36)
(1,12)
(1,30)
(1,95)
(1,83)
(1,20)
(2,86)
(2,74)
(2,37)
(2,13)
(2,61)
(2,31)
(2,96)
(2,84)
(2,21)
(3,87)
(3,75)
(3,38)
(3,14)
(3,62)
(3,32)
(3,97)
(3,45)
(3,22)
(4,88)
(4,76)
(4,39)
(4,15)
(4,63)
(4,33)
(4,98)
(4,46)
(4,23)
(5,89)
(5,53)
(5,40)
(5,16)
(5,64)
(5,34)
(5,99)
(5,47)
(5,24)
(6,90)
(6,54)
(6,41)
(6,17)
(6,65)
(6,35)
(6,100)
(6,48)
(6,25)
(7,91)
(7,55)
(7,42)
(7,66)
(7,77)
(7,49)
(7,26)
(8,92)
(8,56)
(8,43)
(8,67)
(8,78)
(8,50)
(9,69)
(9,57)
(9,44)
(9,68)
(9,79)
(9,51)
(10,70)
(10,58)
(10,9)
(10,27)
(10,80)
(10,52)
(11,71)
(11,59)
(11,10)
(11,28)
(11,93)
(11,81)
(11,18)
hashPartition
package com.ccj.pxj.heima.tran
import org.apache.flink.api.java.operators.DataSink
import org.apache.flink.api.scala._
/**
 * 1. 构建批处理运行环境
 * 2. 设置并行度为 2
 * 3. 使用 fromCollection 构建测试数据集
 * 4. 使用 partitionByHash 按照字符串的hash进行分区
 * 5. 调用 writeAsText 写入文件到 data/parition_output 目录中
 * 6. 打印测试
 */
object HashPartitionTran {
  def main(args: Array[String]): Unit = {
    val env: ExecutionEnvironment = ExecutionEnvironment.getExecutionEnvironment
    env.setParallelism(2)
    val datas: DataSet[Int] = env.fromCollection(List(1, 1, 1, 1, 1, 1, 1, 2, 2, 2, 2, 2))
    val datapart = datas.partitionByHash(_.toString)
    val partitionDataSet: DataSink[Int] = datapart.writeAsText("./data/parition_output")
    datapart.print()
  }
}
sortPartition
package com.ccj.pxj.heima.tran
import org.apache.flink.api.common.operators.Order
import org.apache.flink.api.scala._
/*
1. 构建批处理运行环境
2. 使用 fromCollection 构建测试数据集
3. 设置数据集的并行度为 2
4. 使用 sortPartition 按照字符串进行降序排序
5. 调用 writeAsText 写入文件到 data/sort_output 目录中
6. 启动执行
 */
object sortPartition {
  def main(args: Array[String]): Unit = {
    val env: ExecutionEnvironment = ExecutionEnvironment.getExecutionEnvironment
    env.setParallelism(2)
    val datas: DataSet[String] = env.fromCollection(List("hadoop", "hadoop", "hadoop", "hive", "hive", "spark", "spark", "flink"))
    val dastass: DataSet[String] = datas.sortPartition(_.toString, Order.DESCENDING)
    dastass.writeAsText("./data/sort_output2")
    datas.print()
  //  env.execute("pxj")
  }
}

作者：pxj
日期：2021-07-25 23:01:58

panxuej_shenx
关注
  • 0
    点赞
  • 踩
  • 0
    收藏
    觉得还不错? 一键收藏
  • 1
    评论
更快更稳更易用 - Flink 批处理能力演进.pdf
03-21
更快更稳更易用 -- Flink 批处理能力演进
Flink 学习总结
YYDS_emmm的博客
09-02 1466
Flink 学习总结 Flink特点 高吞吐、低延迟、高性能 支持 Event Time 支持有状态的计算 高度灵活的窗口计算 支持轻量级分布式快照Checkpoints Flink和SparkStream对比♥♥♥ 本质： SparkStream 是以批处理技术为根本，将数据切成一个一个微小的批次从而实现流式处理（伪流处理） Flink 是完全的流式处理，只要数据一来，就会马上对其进行处理 数据模型： Spark采用RDD，SparkStreaming中的DStream也就是一组一组的小批次RD
Flink1.14.3流批一体体验
云来山更佳，云去山如画
03-21 3205
Flink1.14.3流批一体体验
flink（三）：数据处理Transformation
幻神舞的专栏
04-30 724
文章目录说明Transformation 数据处理SingleDataStreamMapFlatMapFilterKeyByReduceAggregationsMultiDataStreamUnioConnect,CoMap,CoflatMapsplitSelectIterate物理分区随机分区（Random Partitioning）平衡分区（Roundrobin Partitioning）Rescaling partitioning广播操作自定义分区总结 说明 本博客每周五更新一次。 本博客主要讲解t
Flink面试通关手册
微信搜：import_bigdata，大数据领域硬核原创作者
12-04 697
大数据技术与架构点击右侧关注，大数据开发领域最强公众号！暴走大数据点击右侧关注，暴走大数据！概述2019 年是大数据实时计算领域最不平凡的一年，2019 年 1 月阿里巴巴 Blink ...
Flink1.16消费Kafka数据并批量插入到Clickhouse
最新发布
09-12 701
实现思路：通过实现SpringBoot的CommandLine接口以达到容器启动完成就初始化并常驻的任务操作。
【实战02】flinksql mysql真正的批量插入
笔生花的博客
02-22 1386
因为我们之前有一个任务数据量是现在这个任务的100倍左右，但是从来没有出现过背压，理论上当前任务也不应该出现背压。这两个任务的逻辑极其相似，唯一不同的大方在于之前写入的是kafka, 现在写入的是mysql. 那么就只可能是sink到mysql太慢导致的背压。加上这两个参数之后，我以为就可以实现批量插入了，但是结果依旧产生背压，也就是说我配置的这两个参数没有真的起作用，那么问题出在哪里呢？这个问题困扰两天了，一个很简单的flink任务，从kafka读出数据，然后开窗计算之后将结果存入mysql.
flink.bat（windows安装flink所需批处理文件）
08-15
flink.bat（windows安装flink所需批处理文件） D:\flink-1.12.2\bin>flink.bat run ../examples/batch/WordCount.jar
Flink-Data-Transformation.md
08-07
Flink_Data_Transformation
start-cluster.bat（windows安装flink所需批处理文件）
08-15
start-cluster.bat（windows安装flink所需批处理文件）
flink 1.14.4 源码下载
04-03
flink 1.14.4 源码下载
idea中启动项目报 Process finished with exit code -1073741819 (0xC0000005)
xtho62的博客
01-07 724
问题解决： 原因：经过多方查证以及此前navicat的闪退的坑发现，问题最终定位在金山词霸上，如果开启了金山词霸的划译功能，就会出现此错误，具体原理有待研究。在关闭金山词霸时，有时idea也会自动关闭。 解决：关掉金山词霸，或者把金山词霸的划译功能关掉，然后重启idea，再运行项目就没问题了。经过尝试，发现只要在IDEA第一次打开并运行的时候，没有开启金山词霸的划译功能，那么之后就算开启也不会有问题。所以如果一定需要用金山，就先打开idea运行项目，在打开金山，或者直接把金山的划译功能关掉就可以了。..
Flink批处理和Transformation算子
smartsteps的博客
01-03 1231
Flink批处理DataSource1.基于集合的 source2.读取 hdfs中得数据3.读取本地文件4.读取CSV文件5.遍历目录2.Flink批处理Transformation1. map2. flatMap3.mapPartition4.filter5.reduce6.groupBy7. reduceGroup8.aggregate9.distinct DataSource 1.基于集合...
flink心得体会
qq_35240226的博客
03-26 873
保存点与检查点 1.保存点由提交任务时指定，恢复时手动指定保存点路径来恢复存储的状态值 2.检查点在程序中指定，设置时间间隔，自动保存存储状态值 ...
【Flink学习笔记】Flink DataStream API之Transformation算子小结
wnf2018的博客
08-31 652
1、map算子 1）理解：通过对DataStream对象调用其map方法，对数据流中的每一个元素进行转换逻辑操作，最终返回每一个输入元素转换后的结果数据继续封装成一个DataStream对象返回（输入多少个元素，就会返回多少个元素，中间过程可以进行一系列的数据结构转换操作） 2）map算子使用入门代码示例 （1）java API代码 package com.flink.datastrea...
Flink实践小结
数据挖掘ing
04-24 630
这篇文章总结实时推荐系统中使用Flink流式计算的一些实践经验。 数据源选择Kafka数据流，经过Flink SQL和自定义函数处理得到各种时间口径下的数据，作为特征传到模型，得到预测结果后向用户实时推送。 其中涉及到的一些比较关键的点： a. Flink时间戳概念很重要，了解event time，processing time，watermark，窗口处理的相关知识对Flink如何处理数据会有更清晰的认识，可以参考一下极客时间《Flink核心技术与实践》相关章节。 b. Flink目前支持利用Ja
flink任务常见报错及解决办法
热门推荐
yiweiyi329的博客
08-06 3万+
1、flink任务无法从checkpoint启动 场景一、flink任务运行过程中出现异常时（如checkpoint失败次数超过配置阈值），自动重启出现算子异常，无法恢复正常运行。 场景二、手动下线任务，选择上一次的checkpoint启动时，出现算子异常，无法启动。 报错如下： java.lang.Exception: Exception while creating StreamOperatorStateContext. at org.apache.flink.streaming.api.
Flink批量写入mysql
诸葛子房的博客
09-26 5680
1.参考Flink写mysql https://blog.csdn.net/weixin_43291055/article/details/100972694 2.新增批量写入函数 xml <insert id="insertBatch" parameterType="java.util.List"> insert into sku_info (sku,num) va...
flink批量写入clickhouse，频繁请求导致内存异常(非ck内置设置问题)
永青技术博客
03-23 5599
一、问题背景 在综合决策平台客流预测实时计算过程中，flink30s步长窗口，需要实时大批量数据实时写入clikhouse，频繁请求导致内存异常。 User class threw exception: ru.yandex.clickhouse.except.ClickHouseException: ClickHouse exception, code: 241, host: xxx.xxx.xxx.xxx, port: 8123; Code: 241, e.displayText() = DB::Ex
flink 批处理定时执行
05-25
Flink 批处理可以使用 Flink 自带的调度器来定时执行。您可以在 Flink Web UI 中设置作业的调度策略，或在提交作业时指定调度策略。 以下是使用 Flink Web UI 进行调度的步骤： 1. 在 Flink Web UI 中选择“作业...

“相关推荐”对你有帮助么？

  • 非常没帮助
  • 没帮助
  • 一般
  • 有帮助
  • 非常有帮助
提交
评论 1
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值