Flink 2020尚硅谷

最新推荐文章于 2023-10-17 13:57:16 发布
最新推荐文章于 2023-10-17 13:57:16 发布
阅读量435 收藏 3
点赞数
分类专栏： # Flink
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/yangshengwei230612/article/details/110097403
版权

Flink简介

在这里插入图片描述
在这里插入图片描述
在这里插入图片描述
在这里插入图片描述
在这里插入图片描述
在这里插入图片描述
在这里插入图片描述

Flink底层主要书java实现

Apache Flink 是一个框架和分布式处理引擎，用于对无界和有界数据流进行状态计算。

flink是要解决的问题就是，在高吞吐量的前提下实现实时的数据处理

flink是真的流式处理(实时处理)，Spark Streaming是假的流式处理()实时处理，SpringStream是批处理，只是每批的数据比较小。

Spring Stream一般是几秒的延迟(有参数可以设置)

如今的大数据技术应用场景，对实时性的要求已经越来越高。作为新一代大数据流处理框架，由于非常好的实时性，Flink 独树一帜，在近些年引起了业内极大的兴趣和关注。Flink能够提供毫秒级别的延迟，同时保证了数据处理的低延迟、高吞吐和结果的正确性，还提供了丰富的时间类型和窗口计算、Exactly-once 语义支持，另外还可以进行状态管理，并提供了 CEP（复杂事件处理）的支持。Flink 在实时分析领域的优势，使得越来越多的公司开始将实时项目向 Flink 迁移，其社区也在快速发展壮大。
目前，Flink 已经成为各大公司实时领域的发力重点，特别是国内以阿里为代表的一众大厂，都在全力投入，不少公司为 Flink 社区贡献了大量源码。如今 Flink 已被很多人认为是大数据实时处理的方向和未来，很多公司也都在招聘和储备了解掌握 Flink 的人才。

Flink应用场景

在这里插入图片描述

传统数据处理架构

在这里插入图片描述

分析处理

用到了数据仓
在这里插入图片描述

流式处理

在这里插入图片描述

有状态的流式处理

有状态主要是指的，把流式数据存储起来(周期性的保存),方便数据处理系统异常是数据恢复。
在这里插入图片描述

流处理的演变

老式的lambda机构：批处理+流处理
先通过流处理保证数据的实时性，后期在通过批处理保证数据的正确性。

在这里插入图片描述
在这里插入图片描述

Flink特点

在这里插入图片描述
在这里插入图片描述
在这里插入图片描述
在这里插入图片描述

Flink和Spark Streaming的区别

在这里插入图片描述

Flink运行时架构

运行是时组件

在这里插入图片描述

作业管理器（JobManager）

在这里插入图片描述

任务管理器（TaskManager）

任务管理器是flink中干活的（处理业务逻辑）
在这里插入图片描述

资源管理器（ResourceManager）

在这里插入图片描述

分发器（Dispatcher）

在这里插入图片描述

任务提交流程

在这里插入图片描述
上图是从一个较为高层级的视角，来看应用中各组件的交互协作。如果部署的集群环境 不同（例如 YARN，Mesos，Kubernetes，standalone 等），其中一些步骤可以被省略，或是 有些组件会运行在同一个 JVM 进程中。

任务调度原理

第五章 Flink 流处理 API

在这里插入图片描述

5.1 Environment

在这里插入图片描述

5.2 Source(数据来源)

5.2.3 以 kafka 消息队列的数据作为来源

kafka主要是做流式数据处理，kafka是flink的最佳拍档，一般都是使用kafka做为flink的数据源。
flink kafka 的客户端可以自动根据topic的分区数启动对应的工作线程数

        <dependency>
            <groupId>org.apache.flink</groupId>
            <artifactId>flink-connector-kafka-0.11_2.11</artifactId>
            <version>1.7.2</version>
        </dependency>

pom.xml

<?xml version="1.0" encoding="UTF-8"?>
<project xmlns="http://maven.apache.org/POM/4.0.0"
         xmlns:xsi="http://www.w3.org/2001/XMLSchema-instance"
         xsi:schemaLocation="http://maven.apache.org/POM/4.0.0 http://maven.apache.org/xsd/maven-4.0.0.xsd">
    <modelVersion>4.0.0</modelVersion>

    <groupId>com.atguigu</groupId>
    <artifactId>FlinkTutorial</artifactId>
    <version>1.0-SNAPSHOT</version>
    <dependencies>
        <dependency>
            <groupId>org.apache.flink</groupId>
            <artifactId>flink-scala_2.11</artifactId>
            <version>1.7.2</version>
        </dependency>
        <!-- https://mvnrepository.com/artifact/org.apache.flink/flink-streaming-scala -->
        <dependency>
            <groupId>org.apache.flink</groupId>
            <artifactId>flink-streaming-scala_2.11</artifactId>
            <version>1.7.2</version>
        </dependency>
        <dependency>
            <groupId>org.apache.flink</groupId>
            <artifactId>flink-connector-kafka-0.11_2.11</artifactId>
            <version>1.7.2</version>
        </dependency>
        <dependency>
            <groupId>org.apache.bahir</groupId>
            <artifactId>flink-connector-redis_2.11</artifactId>
            <version>1.0</version>
        </dependency>
        <dependency>
            <groupId>org.apache.flink</groupId>
            <artifactId>flink-connector-elasticsearch6_2.11</artifactId>
            <version>1.7.2</version>
        </dependency>
        <dependency>
            <groupId>mysql</groupId>
            <artifactId>mysql-connector-java</artifactId>
            <version>5.1.44</version>
        </dependency>
        <dependency>
            <groupId>org.apache.flink</groupId>
            <artifactId>flink-statebackend-rocksdb_2.11</artifactId>
            <version>1.7.2</version>
        </dependency>


    </dependencies>

    <build>
        <plugins>
            <!-- 该插件用于将Scala代码编译成class文件 -->
            <plugin>
                <groupId>net.alchim31.maven</groupId>
                <artifactId>scala-maven-plugin</artifactId>
                <version>3.4.6</version>
                <executions>
                    <execution>
                        <!-- 声明绑定到maven的compile阶段 -->
                        <goals>
                            <goal>testCompile</goal>
                        </goals>
                    </execution>
                </executions>
            </plugin>
            <plugin>
                <groupId>org.apache.maven.plugins</groupId>
                <artifactId>maven-assembly-plugin</artifactId>
                <version>3.0.0</version>
                <configuration>
                    <descriptorRefs>
                        <descriptorRef>jar-with-dependencies</descriptorRef>
                    </descriptorRefs>
                </configuration>
                <executions>
                    <execution>
                        <id>make-assembly</id>
                        <phase>package</phase>
                        <goals>
                            <goal>single</goal>
                        </goals>
                    </execution>
                </executions>
            </plugin>
        </plugins>
    </build>


</project>

SourceTest.scala:

package com.atguigu.apitest

import java.util.Properties

import org.apache.flink.api.common.serialization.SimpleStringSchema
import org.apache.flink.streaming.api.functions.source.SourceFunction
import org.apache.flink.streaming.api.scala._
import org.apache.flink.streaming.connectors.kafka.FlinkKafkaConsumer011

import scala.util.Random

/**
  * Copyright (c) 2018-2028 尚硅谷 All Rights Reserved 
  *
  * Project: FlinkTutorial
  * Package: com.atguigu.apitest
  * Version: 1.0
  *
  * Created by wushengran on 2019/9/17 10:11
  */

// 定义传感器数据样例类
case class SensorReading( id: String, timestamp: Long, temperature: Double )

object SourceTest {
  def main(args: Array[String]): Unit = {
    val env = StreamExecutionEnvironment.getExecutionEnvironment
    env.setParallelism(1)

    // 1. 从集合中读取数据
    val stream1 = env.fromCollection(List(
      SensorReading("sensor_1", 1547718199, 35.80018327300259),
      SensorReading("sensor_6", 1547718201, 15.402984393403084),
      SensorReading("sensor_7", 1547718202, 6.720945201171228),
      SensorReading("sensor_10", 1547718205, 38.101067604893444)
    ))

//    env.fromElements("flink", 1, 32, 3213, 0.324).print("test")

    // 2. 从文件中读取数据
    val stream2 = env.readTextFile("D:\\Projects\\BigData\\FlinkTutorial\\src\\main\\resources\\sensor.txt")

    // 3. 从kafka中读取数据
    // 创建kafka相关的配置
    val properties = new Properties()
    properties.setProperty("bootstrap.servers", "localhost:9092")
    properties.setProperty("group.id", "consumer-group")
    properties.setProperty("key.deserializer", "org.apache.kafka.common.serialization.StringDeserializer")
    properties.setProperty("value.deserializer", "org.apache.kafka.common.serialization.StringDeserializer")
    properties.setProperty("auto.offset.reset", "latest")

    val stream3 = env.addSource(new FlinkKafkaConsumer011[String]("topic-sensor", new SimpleStringSchema(), properties))

    // sink输出
    stream3.print("stream3")
    
    // 4. 自定义数据源
 //   val stream4 = env.addSource(new SensorSource())

    // sink输出
   // stream4.print("stream4")

    env.execute("source api test")
  }
}

class SensorSource() extends SourceFunction[SensorReading]{
  // 定义一个flag：表示数据源是否还在正常运行
  var running: Boolean = true
  override def cancel(): Unit = running = false

  override def run(ctx: SourceFunction.SourceContext[SensorReading]): Unit = {
    // 创建一个随机数发生器
    val rand = new Random()

    // 随机初始换生成10个传感器的温度数据，之后在它基础随机波动生成流数据
    var curTemp = 1.to(10).map(
      i => ( "sensor_" + i, 60 + rand.nextGaussian() * 20 )
    )

    // 无限循环生成流数据，除非被cancel
    while(running){
      // 更新温度值
      curTemp = curTemp.map(
        t => (t._1, t._2 + rand.nextGaussian())
      )
      // 获取当前的时间戳
      val curTime = System.currentTimeMillis()
      // 包装成SensorReading，输出
      curTemp.foreach(
        t => ctx.collect( SensorReading(t._1, curTime, t._2) )
      )
      // 间隔100ms
      Thread.sleep(100)
    }
  }
}

5.3Transform(转换算子->数据转换)

数据转换操作代码示例

package com.atguigu.apitest

import org.apache.flink.api.common.functions.{FilterFunction, RichMapFunction}
import org.apache.flink.configuration.Configuration
import org.apache.flink.streaming.api.scala._

/**
  * Copyright (c) 2018-2028 尚硅谷 All Rights Reserved 
  *
  * Project: FlinkTutorial
  * Package: com.atguigu.apitest
  * Version: 1.0
  *
  * Created by wushengran on 2019/9/17 11:41
  */
object TransformTest {
  def main(args: Array[String]): Unit = {
    val env = StreamExecutionEnvironment.getExecutionEnvironment
    env.setParallelism(1)

    // 读入数据
    val inputStream = env.readTextFile("D:\\Projects\\BigData\\FlinkTutorial\\src\\main\\resources\\sensor.txt")

    // Transform操作->转换成样例类类型

    val dataStream = inputStream
      .map(
        data => {
          val dataArray = data.split(",")
          SensorReading( dataArray(0).trim, dataArray(1).trim.toLong, dataArray(2).trim.toDouble )
        }
      )

    // 1. 聚合操作
     val stream1 = dataStream
       //以id为key进行分组
       .keyBy("id")
       //分组后再处理
      // .min("temperature")
       //.minBy("temperature")
     // .sum("temperature")
      .reduce( (x, y) => SensorReading(x.id, x.timestamp + 1, y.temperature + 10) )

    stream1.print();

    // 2. 分流，根据温度是否大于30度划分
    val splitStream = dataStream
      .split( sensorData => {
        if( sensorData.temperature > 30 ) Seq("high") else Seq("low")
      } )

    val highTempStream = splitStream.select("high")
    val lowTempStream = splitStream.select("low")
    val allTempStream = splitStream.select("high", "low")
    highTempStream.print("高")
    lowTempStream.print("低")
    allTempStream.print("所有")
    
    // 3. 合并两条流
    val warningStream = highTempStream.map( sensorData => (sensorData.id, sensorData.temperature) )
    val connectedStreams = warningStream.connect(lowTempStream)

    val coMapStream = connectedStreams.map(
      warningData => ( warningData._1, warningData._2, "high temperature warning" ),
      lowData => ( lowData.id, "healthy" )
    )

    val unionStream = highTempStream.union(lowTempStream)

    // 函数类
    dataStream.filter( new MyFilter() ).print()

    // 输出数据
//    dataStream.print()
//    highTempStream.print("high")
//    lowTempStream.print("low")
//    allTempStream.print("all")
//    unionStream.print("union")

    env.execute("transform test job")
  }
}

class MyFilter() extends FilterFunction[SensorReading]{
  override def filter(value: SensorReading): Boolean = {
    value.id.startsWith("sensor_1")
  }
}

class MyMapper() extends RichMapFunction[SensorReading, String]{
  override def map(value: SensorReading): String = {
    "flink"
  }

  override def open(parameters: Configuration): Unit = super.open(parameters)
}

简单转换算子

5.3.1 map

在这里插入图片描述

// Transform操作->转换成样例类类型

    val dataStream = inputStream
      .map(
        data => {
          val dataArray = data.split(",")
          SensorReading( dataArray(0).trim, dataArray(1).trim.toLong, dataArray(2).trim.toDouble )
        }
      )
5.3.2 flatMap

在这里插入图片描述

Filter

在这里插入图片描述

分组后再处理

5.3.4 KeyBy

在这里插入图片描述

5.3.5 滚动聚合算子（Rolling Aggregation）

在这里插入图片描述

  val stream1 = dataStream
       //以id为key进行分组
       .keyBy("id")
       //分组后再处理
      // .min("temperature")
       //.minBy("temperature")
     // .sum("temperature")
      .reduce( (x, y) => SensorReading(x.id, x.timestamp + 1, y.temperature + 10) )

    stream1.print();
复杂转换算子
5.3.6 Reduce

在这里插入图片描述
在这里插入图片描述

多流转换算子

5.3.7 Split 和 Select(分流）

实际使用场景：kafka流数据进来，只消费我需要的消息，不需要的再写回kafka供其他人消费。
在这里插入图片描述
分流：
在这里插入图片描述
在这里插入图片描述

    // 2. 分流，根据温度是否大于30度划分
    val splitStream = dataStream
      .split( sensorData => {
        if( sensorData.temperature > 30 ) Seq("high") else Seq("low")
      } )

    val highTempStream = splitStream.select("high")
    val lowTempStream = splitStream.select("low")
    val allTempStream = splitStream.select("high", "low")
    highTempStream.print("高")
    lowTempStream.print("低")
    allTempStream.print("所有")
5.3.8 Connect 和 CoMap(合流)

在这里插入图片描述
在这里插入图片描述

5.3.9 Union

在这里插入图片描述

5.6 Sink (数据输出)

在这里插入图片描述

5.6.1 Kafka

pom.xml

        <dependency>
            <groupId>org.apache.flink</groupId>
            <artifactId>flink-connector-kafka-0.11_2.12</artifactId>
            <version>1.10.1</version>
        </dependency>

主函数中添加 sink：

dataStream.addSink( new FlinkKafkaProducer011[String]("localhost:9092", "sinktest-topic", new SimpleStringSchema()) )

package com.atguigu.apitest.sinttest

import java.util.Properties

import com.atguigu.apitest.SensorReading
import org.apache.flink.api.common.serialization.SimpleStringSchema
import org.apache.flink.streaming.api.scala._
import org.apache.flink.streaming.connectors.kafka.{FlinkKafkaConsumer011, FlinkKafkaProducer011}

/**
  * Copyright (c) 2018-2028 尚硅谷 All Rights Reserved 
  *
  * Project: FlinkTutorial
  * Package: com.atguigu.apitest.sinttest
  * Version: 1.0
  *
  * Created by wushengran on 2020/8/7 10:12
  */
object KafkaSinkTest {
  def main(args: Array[String]): Unit = {
    val env = StreamExecutionEnvironment.getExecutionEnvironment
    env.setParallelism(1)
    // 读取数据
//    val inputPath = "D:\\Projects\\BigData\\FlinkTutorial\\src\\main\\resources\\sensor.txt"
//    val inputStream = env.readTextFile(inputPath)

    // 从kafka读取数据
    val properties = new Properties()
    properties.setProperty("bootstrap.servers", "localhost:9092")
    properties.setProperty("group.id", "consumer-group")
    val stream = env.addSource( new FlinkKafkaConsumer011[String]("sensor", new SimpleStringSchema(), properties) )


    // 先转换成样例类类型（简单转换操作）
    val dataStream = stream
      .map( data => {
        val arr = data.split(",")
        SensorReading(arr(0), arr(1).toLong, arr(2).toDouble).toString
      } )

    dataStream.addSink( new FlinkKafkaProducer011[String]("localhost:9092", "sinktest", new SimpleStringSchema()) )

    env.execute("kafka sink test")
  }
}
紫金小飞侠
关注
  • 0
    点赞
  • 踩
  • 3
    收藏
    觉得还不错? 一键收藏
  • 0
    评论
专栏目录
尚硅谷，flink 笔记.zip
07-20
尚硅谷，flink 笔记
尚硅谷大数据Flink1.17实战教程-笔记01【Flink概述、Flink快速上手】
upward
06-14 3374
尚硅谷大数据Flink1.17实战教程-笔记01【Flink概述、Flink快速上手】
07Flink实时数仓（尚硅谷）- 实时项目优化
qq_24095055的博客
07-23 1533
实时数仓
尚硅谷大数据Flink1.17实战教程-笔记03【Flink运行时架构】
upward
07-18 1861
尚硅谷大数据Flink1.17实战教程-笔记03【Flink运行时架构】
尚硅谷大数据Flink1.17实战教程-笔记02【Flink部署】
upward
06-19 4217
尚硅谷大数据Flink1.17实战教程-笔记02【部署】
尚硅谷大数据之flink教程1
08-08
尚硅谷大数据技术之 Flink第一章 Flink 简介 初识 FlinkFlink 起源于 Stratosphere 项目，Stratosphere 是在 2
大数据技术之Flink教程
04-02
第一章 Flink简介 第二章 快速上手 第三章 Flink部署 第四章 Flink运行架构 第五章 Flink流处理API 第六章 Flink中的Window 第七章 时间语义与Watermark 第八章 ProcessFunction API（底层API） 第九章 状态编程与...
Flink课件.doc
11-05
Flink课件学习Flink入门
大数据之Flink.docx
12-18
大数据之Flink.docx
Flink 尚硅谷 总结一
cjl的博客
06-30 568
Flink 尚硅谷 总结一Flink介绍Fink是什么为什么选择Flink数据处理框架历史Flink的特点Flink vs Spark Streaming快速上手批处理实现WordCount流处理实现流式数据源测试Flink 部署task slot 多线程Web UI提交命令行提交jobYarn模式Sesstion Cluster模式Per Job Cluster 模式Flink运行框架运行时的组件任务提交流程任务调度原理TaskManger与Slots与共享组Slot和并行度程序与数据流执行图数据传输形式
Flink学习资料
10-09
附件：Flink-on-yarn部署指南 0、Flink基本原理与生产实践 1、Flink基本概念与部署 2、DataStreamAPI介绍与实战 3、Window与Time 4、Connector 5、Flink状态管理与恢复 6、Metrics与监控 7、Flink应用案例介绍 8、Druid基本概念以及架构设计 9、Druid数据存储与写入 10、Druid实践介绍
最新Hadoop生态圈开发学习资料——尚硅谷
04-03
最新Hadoop生态圈开发学习资料 Linux、Hadoop、HDFS、Zookeeper、Hive、Flume、Kafka、等等
尚硅谷Flink（完）FlinkSQL
最新发布
qq_58551342的博客
10-17 1706
⚫ 标量函数（Scalar Functions）：将输入的标量值转换成一个新的标量值；⚫ 表函数（Table Functions）：将标量值转换成一个或多个新的行数据，也就是扩展成一个表；⚫ 聚合函数（Aggregate Functions）：将多行数据里的标量值转换成一个新的标量值；⚫ 表聚合函数（Table Aggregate Functions）：将多行数据里的标量值转换成一个或多个新的行数据。要想在代码中使用自定义的函数，我们需要首先自定义对应 UDF 抽象类的实现，并在表环境中注册。
【学习笔记】尚硅谷大数据项目之Flink实时数仓---DWM层
prague6695的博客
07-22 992
DWM 层部分的代码主要的责任，是通过计算把一种明细转变为另一种明细以应对后续的统计。学完本阶段内容要求掌握
尚硅谷大数据Flink从入门到实战（2020最新版）
weixin_46241014的博客
10-30 1375
课程简介 作为新一代大数据流处理框架，Flink独树一帜，已经成为各大公司实时领域的发力重点，被认为是大数据实时处理的方向和未来，很多公司都在招聘和储备Flink人才。 尚硅谷精心打造的Flink理论及项目实战课程，再次重磅升级！将Flink理论与电商数据分析项目实战并重，对Flink基础理论知识做了系统的梳理和阐述，并通过电商用户行为分析的具体项目用多个指标进行了实战演练。 升级贴士 本套视频教程总计137集，Flink版本从1.7升级为1.10，增加了Table API和Flink SQL。理论...
尚硅谷Flink（一）
qq_58551342的博客
10-11 1397
Apache Flink 是一个框架和分布式处理引擎，用于对无界和有界数据流进行状态计算。Flink 被设计为在所有常见的集群环境中运行，以内存速度和任何规模执行计算。把流处理需要的额外数据保存成一个“状态”，然后针对这条数据进行处理，并且更新状态。这就是所谓的“有状态的流处理”。无界数据流：有定义流的开始，但没有定义流的结束会无休止的产生数据无界流的数据必须持续处理，即数据被摄取后需要立刻处理。
【尚硅谷】Flink初识—Java版
junR_980218的博客
06-20 418
【尚硅谷】Flink初识—Java版
【尚硅谷Java版】Flink 快速上手之批处理
junR_980218的博客
06-20 475
【尚硅谷Java版】Flink 快速上手之批处理
Flink - 尚硅谷- 大数据高级 Flink 技术精讲 - 1
MiaoSO的博客
08-24 3951
Flink - 尚硅谷- 大数据高级 Flink 技术精讲 Flink - 尚硅谷- 大数据高级 Flink 技术精讲 一、Flink 简介 二、Quick Start 2.1 环境 2.1 Flink 安装包 2.2 nc 2.3 pom 配置 2.2 批处理 2.3 流处理 三、Flink 部署 3.1 Standalone 模式 3.2 Yarn 模式 3.2.1 Flink on Yarn 3.2.2 Session Cluster 3.2.3 Per Job Cluster
flink尚硅谷开发文档
07-23
Flink尚硅谷开发文档是围绕Apache Flink这个流处理框架而编写的指南。Flink是一个开源的分布式流处理引擎，用于实时处理和分析数据流。尚硅谷开发文档旨在帮助开发人员理解和使用Flink的核心功能。 这份开发文档...

“相关推荐”对你有帮助么？

  • 非常没帮助
  • 没帮助
  • 一般
  • 有帮助
  • 非常有帮助
提交
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值