格子衫

Flink 基础 Flink特性 流式计算是大数据计算的痛点，第1代实时计算引擎Storm对Exactly Once 语义和窗口支持较弱，使用的场景有限且无法支持高吞吐计算；Spark Streaming 采用“微批处理”模拟流计算，在窗口设置很小的场景中有性能瓶颈，Spark 本身也在尝试连续执行模式（Continuous Processing），但进展缓慢。 Flink是一个低延迟、高吞吐的实时计算引擎，其利用分布式一致性快照实现检查点容错机制，并实现了更好的状态管理，Flink可在毫秒级的延迟下

Flink使用HiveCatalog可以通过批或者流的方式来处理Hive中的表。这就意味着Flink既可以作为Hive的一个批处理引擎，也可以通过流处理的方式来读写Hive中的表，从而为实时数仓的应用和流批一体的落地实践奠定了坚实的基础。本文将以Flink1.12为例，介绍Flink集成Hive的另外一个非常重要的方面——Hive维表JOIN(Temporal Table Join)与Flink读写Hive表的方式。以下是全文，希望本文对你有所帮助。 Flink写入Hive表 Flink支持以批处理(B

一、简介 flink-streaming-platform-web系统是基于flink封装的一个可视化的web系统，用户只需在web界面进行sql配置就能完成流计算任务，主要功能包含任务配置、启/停任务、告警、日志等功能。目的是减少开发，完全实现 flink-sql 流计算任务，flink 任务支持单流、双流、单流与维表等，支持本地模式、yarn-per模式、STANDALONE模式。 支持udf、自定义连接器等,完全兼容官方连接器 目前flink版本已经升级到1.12 效果图 .

整体架构图 工具 Flink 1.11.2 Scala 2.11 Tableau 2020.2 一、模拟发送数据 新建一个类KafkaProducer用来模拟产生消费数据，代码如下: package TopNitems import java.text.SimpleDateFormat import java.time.{LocalTime, ZonedDateTime} import java.time.format.DateTimeFormatter import java.uti