Flink的容错机制第七篇 流处理架构与Apache Kafka

本篇主要简介Flink工程中出现的Apache kafka的功能和应用场景，更有助于理解Flink的整体工程架构，文章中可能出现之前写过的内容。

一，背景：数据处理架构

 多年来，数据的收集和使用一直在增长，公司已经设计并构建了基础架构来管理数据。 大多数企业实施的传统架构区分了两种类型的数据处理：事务处理和数据分析处理。 在本节中，我们将讨论这两种类型以及它们如何管理和处理数据。

1. 事务处理架构

公司一般将各种应用程序用于日常业务活动，例如企业资源规划系统，客户关系管理（CRM）软件和基于Web的应用程序。 这些系统通常设计有单独的层，用于数据处理（应用程序本身）和数据存储（事务数据库系统)。

                                                       图1.传统事务处理架构

像这样，客户管理，订单业务，web应用程序分别由单独的层编写，并公用后台一个数据库。

正如我们在微服务架构中讲的那样，当应用程序需要发展或扩展时，此应用程序设计可能会导致问题。由于多个应用程序可能在同一数据表示上工作或共享相同的基础结构，因此更改表的模式或扩展数据库系统需要仔细规划和大量工作。克服紧密捆绑应用程序