GatsbyNewton

数据交换策略（Data Exchange Strategy）定义了数据如何被分配到物理数据流图的 Task 中的。

Watermark

1.

流式数据处理在当今大数据领域是非常重要，这是有足够充分的理由的，如下：企业需要更及时地洞察他们的数据，而流式数据是实现更低延迟的一个好方法；现在商业中有海量无界的数据，使用为永不结束的数据设计的系统处理它们就更为容易；当数据一到达就进行处理，工作负载会随着时间推移更加均匀地分布，从而产生更一致和可预测的资源消耗。术语：Streaming 是什么？在讨论可能遇到的不同类型的数据时，精确的术语也是很有用的。通过两个重要且正交的维度对数据可以唯一确定——Cardinality（基数）和 Consti

同学分享了一个漫画版 MySQL 索引，我觉得挺有意思的。好东西当然要和大家分享啦，下面咱们就一起开始奇趣之旅吧！扫码关注公众号：冰山烈焰的黑板报

数据湖（Data Lake） 是这十年出现的一个术语，是大数据领域中数据分析流程的一个重要组成部分。它的思想是：为组织中的任何人可能需要分析的所有**原始数据（Raw Data）**提供一个存储。通常，人们使用 Hadoop 分析湖中的数据，但这个概念不仅限于 Hadoop。当我听到关于将组织要分析的所有数据集中在一起时，我立即想到的是数据仓库（Data Warehouse）和数据集市（Data Mart）（通常的区别是，数据集市用于组织中的单个部门，而数据仓库集成了所有部门。关于数据仓库应该是所有数据集

Checkpoint 的配置对于 Flink 应用程序的性能和稳定性有这至关重要的影响，本文介绍大规模状态数据集中的 Checkpoint 实战。

Bloom Filter 是一种空间高效的概率型数据结构，不需要存储元素。同时，Bloom Filter 的缺陷也比较明显，它存在假阳性错误的误判，而且一般情况下无法删除元素。

数据科学使你能够将业务问题转换为研究项目，然后再将其转换为实际的解决方案。本文回答了数据科学是什么，数据科学为什么这么重要，数据科学具有的 5 个阶段的生命周期，数据科学包含的 5 个组成部分，以及数据科学具有 6 个环节的流程。

Flink 的关系 API 非常适合立即实施流分析应用程序，并且可以在多种生产环境中使用。在本文中，我们讨论了 Table API 和 SQL 的未来。

使用一致性哈希算法时，当发生增删服务器的时候，并不能彻底杜绝数据迁移，但是却可以有效地避免全量数据迁移。同时，一致性哈希算法使用虚拟节点可以解决热点问题。

在使用 Flink 时， 我们基本都会用到 Checkpoint，也难免不会遇到 Checkpoint 慢或者失败等问题，本文介绍了 Checkpoint 问题排查的方法。

Checkpoint 是 Flink 的失败恢复机制，它的配置对于 Flink 应用程序的性能和稳定性有这至关重要的影响。

Flink 的并发度的设置直接影响应用程序的性能，本文介绍了应该如何设置并发度的方法。

本文介绍了 Bitmap 的原理，和在大数据处理中的应用案例，如，判重、定基、排序、压缩。以及在位图图像和数码相机中的应用。最后，用位运算的方式实现了 Bitmap。

在 Flink 原理与实现：Checkpoint 这篇文章中，我介绍了 Flink Checkpoint。Checkpoint 是 Flink 内置的失败恢复机制。SavepointSavepoint 是 Flink 的一个非常重要的特征，被 Flink PMC 誉为“瑞士军刀（Swiss Army knife）”。Savepoint 的实现算法和 Checkpoint 一样。但是，Savep...

本文尝试用图形化语言将抽象的 Checkpoint 具象化，阐述 Naive Consistent Checkpoint、Flink Checkpoint、Failure Recovery Mechanism、以及Performance of Checkpointing。

本文尝试解释 State stream processing，从 Flink 的角度，阐述 State management 和 State repartition。