困而学之，学思并重

Flink——状态管理1 有状态计算有状态计算是Flink非常重要的特性之一。什么是状态？一般来说，状态是由一个task维护，并用于计算某个结果的所有数据，都属于这个任务的状态。也可以理解为一个本地变量，可以被task的业务逻辑访问。下图展示了一个task与它的state的常规交互过程：task在处理数据时，会先访问state，并根据输入信息和state信息更新state。Flink会处理...

主要内容：在处理数据的时候，有时候想对不同情况的数据进行不同的处理，那么就需要把数据流进行分流。可以在主数据流上产生出任意数量额外的侧输出流。

主要内容：- 从SocketSource接收数据，时间语义采用EventTime，统计用户在T分钟内的总消费金额。

日志段及其相关代码是 Kafka 服务器源码中最为重要的组件代码之一。接下来对Kafka的日志（Log）、日志段（LogSegment）以及索引（Index）源码进行尝试性分析。

主要内容：- 介绍AggregateFunction- 案例：从SocketSource接收数据，通过Flink 时间窗口以及AggregateFunction方法统计用户在24小时内的平均消费金额

主要内容：- 介绍Time、Window、Watermark的基本概念- 介绍几个实现案例

主要内容：分析RedisSink源码，并结合具体案例实现Flink将数据写入Redis。

主要内容：实现Flink写数据到MySQL，即MySQL Sink。

主要内容：实现Flink写数据到Redis，即Redis Sink。

主要内容：Scala实现SparkStreaming消费Kafka数据保存Offset到Redis，实现自主维护Offset介绍部分源码SparkStreaming自主维护Offset的流程SparkStreaming启动时，先请求Redis或Hbase；Redis或Hbase返回请求结果，将结果（Topic、Partition、Offset的组合）封装成collectio...

主要内容：基于scala代码实现Flink1.10.0实时消费Kafka数据并写入Kafka

主要内容：介绍Flink自定义Source的使用方法。

关于Flink程序的开发流程和具体案例请参考：Flink——从零搭建Flink应用。DataSourceDatasource用于Flink程序读取数据，可通过：StreamExecutionEnvironment.进行配置。内置数据源文件数据源：readTextFile(path)：直接读取文本文件；readFile(fileInputFormat, path)：读取指定类型的文件...

Flink——从零搭建Flink应用主要内容：环境准备创建Flink项目模板编写Flink程序运行测试环境准备Flink执行环境分为本地环境和集群环境，可运行在Linux、Windows和Mac OS上。首先介绍环境依赖：JDK：版本要求：1.8及以上Maven：Flink源码目前仅支持通过Maven进行编译，版本要求：3.0.4及以上Scala：根据开发语言选择是否安...

据了解，Kafka吞吐量峰值每秒百万，就算在内存个CPU都不高的情况下，最高可达每秒十万，并且还能做到持久化存储。Kafka如此高吞吐率的原因是什么？1 应用层面的优化使用批次：producer和consumer都使用批次进行读写——避免在网络上频繁传输单个消息带来的延迟和宽带开销；高效压缩：将多条消息压缩在一起，而不是分别压缩每条消息，自带压缩方式：GZIP和Snappy。消息在写入时进...

Flume——开发案例监控端口数据发送到控制台source：netcatchannel：memorysink：logger# Name the components on this agenta1.sources = r1a1.sinks = k1a1.channels = c1# Describe/configure the sourcea1.sources.r1.ty...

简介Apache Flume是一个分布式、高可用、高可靠的系统，可以有效地从许多不同的源收集、聚合和移动海量日志数据到集中式数据存储。Flume可用于传输大量事件数据：日志数据网络流量数据社交媒体数据电子邮件消息……优势支持将数据存储到任何集中存储器中，比如HDFS，Hive，HBase；当传入数据的速率超过可以将数据写入目标的速率时，flume充当数据生产者和集中存储之...

Kafka底层数据存储设计topic——>partitions——>segments——>.index&.logKafka中的消息是以topic为基本单位进行组织和分类；每个topic分为多个partition，partition是以文件的形式存储在文件系统中，由参数log.dir配置。如创建了名为first_topic的topic，共有3个分区，那么在...

Kafka——简介与架构一、简介1.1 概述什么是Kafka：最初由Linkedin公司开发，由scala编写，其诞生是为了解决Linkedin的数据管道问题——由于各种缺陷而导致消息阻塞或者服务无法正常访问；分布式消息队列。Kafka对消息保存时根据topic进行归类，发送消息者称为producer，消息接受者称为consumer，Kafka集群由多个Kafka实例组成，每个实例...

Kafka——可靠的数据传递kafka的复制机制和分区的多副本架构时kafka可靠性保证的核心。可靠性保证ACID规范：原子性、一致性、隔离性和持久性kafka可以保证分区内消息的顺序只有当消息被写入分区的所有同步副本时（但不一定写入磁盘），才被称为“已提交”的消息只要还有一个副本时活跃的，那么已提交的消息就不会丢失消费者只能读取已提交的消息复制复制功能是kafka架构的...