SunnyRivers

Kafka从 0.11.0.0 版本开始提供了一种在生产者和消费者之间传递元数据的机制，叫做 Kafka header。使用这个机制，你可以在消息中添加一些与数据内容无关的附加信息，如消息的来源、类型、版本、生产时间、过期时间、分区数、用户 ID 等等。Kafka header 是由一个或多个键值对组成的列表，每个键值对都称为 header。消息可以包含零个或多个 header。Kafka header 可以看作是消息的元数据，因为它们不包含实际可用的消息负载。

必须得创建好Mysql表CREATE TABLE student (name VARCHAR(20),age INT);读写代码创建实体类public class Student { private String name; private int age; public Student(String name, int age) { th...

前言离线分析一直用的Spark，而且感觉很不错的。不过在实时计算Flink显然比Spark更具有优势，而且Flink也支持离线分析，虽然还没有Spark这么强大，但是相信不远的将来完全在离线分析方面也有能力与其抗衡，因此测试了一下Flink to Mysql代码package datasetimport org.apache.flink.api.common.typeinfo.Basic...

什么是FlinkFlink是同时支持批处理和流处理的计算平台听起来没什么特别的，spark也具备这样的功能。但是，Flink和Spark有着本质的不同：Spark是把Stream流作更快的批处理，而Flink把批处理看做Stream流的特例。Flink同时具有Storm的低延时和SparkStreaming的高吞吐能力，这个也许是越来越被重视的原因Flink的特点同时支持高吞吐、...

下载并启动检查java是否安装以及版本是否在1.8以上java -version如果以安装java，则会显示：java version "1.8.0_111"Java(TM) SE Runtime Environment (build 1.8.0_111-b14)Java HotSpot(TM) 64-Bit Server VM (build 25.111-b14, mixed ...

运行环境介绍Flink执行环境主要分为本地环境和集群环境，本地环境主要为了方便用户编写和调试代码使用，而集群环境则被用于正式环境中，可以借助Hadoop Yarn或Mesos等不同的资源管理器部署自己的应用。环境依赖（1）JDK环境Flink核心模块均使用Java开发，所以运行环境需要依赖JDK，本书暂不详细介绍JDK安装过程，用户可以根据官方教程自行安装，其中包括Windows和Lin...

数据集类型现实世界中，所有的数据都是以流式的形态产生的，不管是哪里产生的数据，在产生的过程中都是一条条地生成，最后经过了存储和转换处理，形成了各种类型的数据集。如下图所示，根据现实的数据产生方式和数据产生是否含有边界（具有起始点和终止点）角度，将数据分为两种类型的数据集，一种是有界数据集，另外一种是无界数据集。有界数据集有界数据集具有时间边界，在处理过程中数据一定会在某个时间范围内起始和...

DataStream编程模型在Flink整个系统架构中，对流计算的支持是其最重要的功能之一，Flink基于Google提出的DataFlow模型，实现了支持原生数据流处理的计算引擎。Flink中定义了DataStream API让用户灵活且高效地编写Flink流式应用。DataStream API主要可为分为三个部分，DataSource模块、Transformation模块以及DataSink...