走进Flink

• 什么是Fink
  • Flink是一个分布式的、高性能的、可伸缩的、容错的流处理引擎，它支持批处理和流处理，并提供了丰富的 API 和库，是实时数据处理的理想选择
  • 由Java 和 Scala 实现的，所以所有组件都会运行在Java 虚拟机【单个JVM也可以】上
  • 不需要依赖于hadoop集群的组件
  • 和Kafka的关系
    • Apache Flink和Apache Kafka是两个不同的开源项目，它们都是大数据领域中非常流行的技术，可以互相配合使用。
    • Apache Kafka是一个分布式流处理平台，提供高吞吐量、低延迟的数据传输，主要用于构建实时数据管道和流式应用程序。Flink可以通过Kafka作为数据源或者数据接收器，读取Kafka中的数据进行处理，同时也可以将Flink计算结果输出到Kafka中。
    • 在使用Flink和Kafka的组合时，通常使用Kafka作为Flink的输入源或者输出目的地，从而实现实时数据处理。同时，由于Kafka的高可靠性和高容错性，它可以确保数据不会丢失，并且即使Flink出现故障，也可以重新消费数据进行处理。
• 优缺点
  • 优点
    • 事件驱动型。Flink的事件驱动型应用是一类具有状态的应用，它从一个或多个事件流提取数据，并根据到来的事件触发计算、状态更新或其他外部动作。
    • 高吞吐、低延迟、高性能。Flink被设计在所有常见的集群环境中运行，以内存执行速度和任意规模来执行计算。