hadoopde mapr_如何使用MapR流在整个数据中心复制流数据

hadoopde mapr

在本周的“白板演练”中，MapR的解决方案架构师Jorge Geronimo解释了如何使用一行代码就可以在同一群集内或在世界的另一个区域内创建MapR数据流的副本。 Jorge还描述了用于流数据的多主复制，以及MapR Streams的具有保留偏移量的地理分布式复制的独特功能如何为处理流数据提供优势。

编者注 ：使用MapR流跨数据中心复制数据流时，使用者可以从一个站点故障转移到另一个站点。 此外，系统将中断复制循环。 有关使用MapR Streams进行地理分布式复制的这些方面的更多详细信息，请参阅“ 深入了解MapR Streams” 。

MapR Streams的其他资源包括：

• 流架构第5章
• “ MapR Streams入门”教程和示例程序

完整的成绩单如下：

你好 我叫Jorge Geronimo，我是MapR Technologies的解决方案架构师。

对于本白板演练，我们将要讨论的是MapR Streams复制的应用程序。 现在，MapR Streams是MapR融合数据平台中的消息传输层。 MapR Streams复制是MapR能够在同一集群内复制流的功能，可能是为了进行工程或模型训练，或者是复制到同一数据中心内或世界其他任何地方的其他集群。 对于高可用性和灾难恢复情况，可能需要这样做。

假设您在亚洲设有制造工厂的用例。 该生产线上有一些传感器，它们正在向MapR集群中称为度量流的流生成消息。 还有消费者，这些消费者是从度量标准流中读取数据并对该数据进行某些处理的流程应用程序。

MapR的独特之处在于，只需一行代码，您就可以再次创建度量标准流的副本，既可以在同一集群中，也可以在模型训练中，拥有您所拥有的东西，也可以在另一个数据中心中（可能位于另一部分）灾难恢复情况的世界。

让我们更进一步，说您的公司在欧洲某处有另一条生产线。 它具有几乎相同的体系结构和许多相同的组件。 现在，假设您的全球总部位于北美。 您在北美的分析师希望能够读取全球所有制造工厂中所有数据流的数据。 现在，这些分析人员可以接触到每个单独的数据流以读取该数据，或者，为了消除地理位置带来的延迟，实际上，您可以做的就是将所有这些数据流合并为北美MapR中的单个度量标准数据流簇。 您的分析师将能够从您的亚洲业务线以及欧洲业务线访问数据，并且好像他们正在访问同一群集上的数据一样，因为作为复制的一部分，MapR的独特之处在于它保存该消息偏移量。

这称为从属主复制。 这是一种方式。 您有一个来源或来源，而您有一个目的地或副本。 在其他情况下，您可能希望拥有一个流，既可以将消息推送到另一个流，又可以同时从该流中读取消息。 这称为多主复制。 这里要注意的是，流中的主题名称必须唯一，这样，当消息偏移量复制到北美时，它们不会相互覆盖。

那是什么意思 让我们假设亚洲有一条名为Line 2的生产线，并将其消息发布到Line 2_Asia。 您的欧洲行将其消息发布到名为Line 2_Europe的主题。 它们各自具有唯一的偏移量，然后将这些流和主题复制到北美群集时，它们将保持其消息偏移量并保持唯一性，并避免这种情况，因为消息被覆盖，您可能会看到数据丢失。彼此。

如果您想了解有关MapR Streams的更多信息，请随时访问该网站。 如果您有任何问题或意见，请随时在下面的部分中发布。 祝你有美好的一天。

翻译自: https://www.javacodegeeks.com/2016/11/replicate-streaming-data-across-data-centers-mapr-streams.html

hadoopde mapr