MapR上的Kafka Connect和Kafka REST API：流媒体变得更加简单！

在之前的博文中 ，我解释了流架构的三个主要组成部分。 大多数流传输体系结构具有三个主要组件–生产者，流传输系统和使用者。 生产者（例如Apache Flume）在从数据源收集事件数据，将其转换为所需的格式，并可选地对其进行过滤，汇总和丰富之后，将事件数据发布到流式系统中。 流或消息传递系统（例如Apache Kafka或MapR Streams）接收生产者发布的数据，将其保留下来，并可靠地传递给消费者。 消费者通常是流处理引擎（例如Apache Spark），它们订阅流中的数据并处理或分析该数据以寻找警报和见解。 此外，一旦处理完数据，可能需要将其保存在数据库或文件中，以供下游应用程序将来使用。

下图说明了典型的流传输体系结构：

但是，随着流媒体变得越来越普遍，我们正在寻求简化这种架构，同时使其更加敏捷。 输入Kafka Connect和Kafka REST API。 下图说明了设置流的新的，简单的，敏捷的方法：

Kafka Connect：轻松将常用数据系统与Kafka连接

Kafka Connect提供了预先建立的连接器，该连接器允许旧数据存储区（例如数据库和数据仓库）和现代数据存储区（例如HDFS）与Kafka连接。 这种连接消除了构建自定义“生产者”或“消费者”应用程序以帮助这些数据系统发布/订阅Kafka的需要。 它还消除了对提供这些数据存储连接器的第三方数据收集器的需求。

Kafka Connect提供了到最常见的数据存储的方便，可靠的连接。 它有助于将数据提取到Kafka中，以及将数据从Kafka中推送到最常用的数据系统中。 此外，为消除自定义生产者应用程序的需求，它允许基于拉取的数据提取，支持不知道如何推送的源。 同样，为了消除自定义的消费类应用程序，它允许从基于推送的数据从Kafka导出，从而支持不知道如何从Kafka提取数据的数据系统。 随着Kafka Connect的不断成熟，将创建更多的连接器，从而提供了可以直接连接到Kafka的各种信号源和接收器。

Kafka REST代理：使用HTTP与Kafka连接

新时代的数据源（例如传感器，移动设备等）知道如何使用HTTP进行通信。 但是，他们通常没有足够的计算资源来运行Kafka生产者应用程序和Kafka客户端。 这种缺陷是为什么Kafka REST API会改变游戏规则的原因。 它使这些设备可以轻松地发布/订阅Kafka主题，从而使体系结构更加敏捷。 现在，任何可以使用HTTP进行通信的设备都可以直接与Kafka进行通信。 这一发展对简化物联网架构具有重大影响。 现在，任何汽车，恒温器，机器传感器等都可以直接与Kafka通信。

Kafka REST API通过直接将数据源与Kafka连接，从而消除了中间数据收集器并简化了体系结构。 现在，任何运行时环境中的任何编程语言都可以使用HTTP与Kafka连接。 此功能使开发人员可以自由选择使用自己的开发框架，并使用简单的REST API与Kafka连接，从而缩短了流式应用程序的上市时间。

MapR融合数据平台：进一步简化架构

MapR平台通过在一个系统，一个集群中的一个平台上提供事件流，流处理和持久性（数据库和文件），进一步简化了流架构。 您可以使用Kafka REST API或Kafka Connect将数据源与MapR Streams连接，这是Kafka的更安全，可靠和高性能的替代品。 流式传输体系结构的所有组件都可以在一个平台上的MapR上使用。

MapR Streams使用与Kafka（0.9）相同的API，这意味着使用Kafka作为消息传递系统构建的应用程序可以轻松移植到MapR Streams，反之亦然。 如果没有融合平台，事件流，流处理和持久性将作为需要连接的独立系统运行。 连接的系统需要跨集群的数据移动，这会带来额外的延迟。 它们还需要更多的硬件，因为无法在孤立的系统之间共享资源，并且具有更高的管理成本。 MapR融合数据平台通过为流体系结构的所有组件（原始数据源除外）提供一个系统来消除这些问题。

要了解MapR Streams的内部工作原理，您应该观看此白板演练 。 阅读此博客可了解使用MapR Streams优于Kafka的优势。 如果您想尝试MapR Streams，请查看此入门教程 。

翻译自: https://www.javacodegeeks.com/2016/12/kafka-connect-kafka-rest-api-mapr-streaming-just-became-whole-lot-easier.html