Fayson的github: https://github.com/fayson/cdhproject
推荐关注微信公众号:“Hadoop实操”,ID:gh_c4c535955d0f
上个月Cloudera发布Cloudera Stream Processing,这个解决方案让所有Cloudera客户都能获得最新的,安全版本的Apache Kafka以及Schema Registry和Kafka Streams。我们很自豪能够通过Kafka的实施为数百名活跃客户提供支持,现在我们渴望为更多的客户提供服务。
Cloudera Stream Processing
https://blog.cloudera.com/introducing-cloudera-stream-processing/
尽管Kafka在当今企业的大多数流式架构中被用作核心流处理引擎,但它也在平台操作,DevOps以及安全和治理团队中带来了一系列挑战。原始的Kafka没有开箱即用的任何管理界面来帮助这些团队简化使用与运维。但相应的当涉及到这种实时流式架构时,业务连续性是IT部门的首要任务。如果主Kafka集群出现故障,所有人都会看着IT和DataOps团队,看看他们是否设计了适当的DR(灾难恢复)计划来启动备用集群以保持业务平稳运行。同样,Kafka中没有开箱即用的工具可用于有效的HA(高可用)/DR管理。
为了应对这些挑战,Cloudera很高兴为Kafka推出管理和监控工具 - Cloudera Streams Management(CSM)。CSM主要由两种产品组成:
1.Cloudera Streams Messaging Manager (SMM) :这是Kafka的管理/监控仪表板,自去年以来一直非常受欢迎。它一直在改变企业获取Kafka集群可见性的方式。我们的客户对此赞不绝口!
2.Cloudera Streams Replication Manager (SRM) :这是CSM下的全新的子产品。对于有HA或DR需求的企业而言,Kafka的复制或备份一直是个挑战。像Mirrormaker这种Kafka原生的工具不是为复制构建的,因此,我们的客户要求提供简单,直观和易于管理的工具。SRM通过在您的环境中跨多个集群启用Kafka复制来帮助您实现业务连续性。
Streams Messaging Manager (SMM)
几年前,我们在30名Kafka客户中发现了“Kafka失明”的问题。于是我们提出了一种创新的解决方案,该解决方案因其直观的设计和可用性而受到所有人的高度赞扬。在这个CSM版本中,Cloudera Manager可以直接管理SMM这个服务,Apache Sentry则提供基于角色的访问授权,Schema Registry则提供Kafka治理和schema管理能力。这一系列功能让熟悉Cloudera Manager的用户能以自己习惯的方式使用SMM。在此版本中,我们还添加了一个新的DevOps监控功能,其中包括端到端的跨producer,topic/broker和consumer的时延视图。这可以帮助回答诸如“消息生产后被消费的平均时延是多少”这类问题。
Streams Replication Manager (SRM)
Apache Kafka支持内部复制,以支持集群中的数据可用性。但是,企业要求数据可用性和持久性保证能跨整个集群和数据中心故障。跨集群和数据中心复制数据对于许多场景(包括DR,分析聚合,访问隔离,地理邻近,云迁移以及出于法律和合规性原因)至关重要。Mirrormaker是目前Kafka用于数据复制需求的常用工具。但是,Mirrormaker对于希望在Kafka集群之间进行关键任务数据复制的企业有严重的限制。
Mirrormaker has severe limitations
https://blog.cloudera.com/kafka-replication-the-case-for-mirrormaker-2-0/
因此,我们主导创建了Kafka Mirrormaker 2方案,该方案解决了Mirrormaker 1的局限性,能够动态修改配置,使topic在集群之间保持同步并显著提高性能。此外,对于active-active集群和灾备,MM2也是开箱即用的。
Kafka Mirrormaker 2
https://blog.cloudera.com/a-look-inside-kafka-mirrormaker-2/
Streams Replication Manager是Cloudera基于MM2的另一个开源的创新项目。SRM使企业能够实现跨Kafka集群的topic复制。这使企业可以很容易的实现容灾备份架构,比如active/active集群设置。SRM还与SMM用户界面紧密集成,因此SMM中有一个新的Cluster Replications视图。这为SRM集群中发生的复制流提供了监控视图。该视图显示了数据复制的详细信息,其中包括集群和topic级别的指标,比如需要复制的topic列表,每个复制任务的状态,集群之间的吞吐,以及任何复制延迟。SMM中的Cluster Replications视图同时还包括基于监控指标创建告警。
Cloudera承诺会专注于流市场以及增强已经很全面的Kafka产品。请继续关注更多官宣。