Kafka
No_Game_No_Life_
这个作者很懒,什么都没留下…
展开
-
Kafka By the sea——kafka的使用场景
文章目录消息队列概述消息队列应用场景异步处理应用解耦流量削锋日志处理消息通讯消息中间件示例电商系统日志收集系统常用消息队列ActiveMQKafka 消息队列概述 消息队列中间件是分布式系统中重要的组件,主要解决应用解耦,异步消息,流量削锋等问题,实现高性能,高可用,可伸缩和最终一致性架构。目前使用较多的消息队列有ActiveMQ,RabbitMQ,ZeroMQ,Kafka,MetaMQ,Rock...原创 2019-11-27 10:00:42 · 342 阅读 · 0 评论 -
Kafka By the sea——Zookeeper 在 Kafka 中的作用
文章目录Broker注册Topic注册生产者负载均衡消费者负载均衡分区 与 消费者 的关系消息 消费进度Offset 记录消费者注册 Broker注册 Broker是分布式部署并且相互之间相互独立,但是需要有一个注册系统能够将整个集群中的Broker管理起来,此时就使用到了Zookeeper。在Zookeeper上会有一个专门用来进行Broker服务器列表记录的节点: /brokers/ids 每...原创 2019-11-26 19:04:31 · 120 阅读 · 0 评论 -
Kafka By the sea——Kafka消费者(从Kafka读取数据)
KafkaConsumer概念 消费者和消费者群组 假设我们有一个应用程序需要从一个Kafka 主题读取消息并验证这些消息,然后再把它们保存起来。应用程序需要创建一个消费者对象,订阅主题并开始接收消息,然后验证消息井保存结果。过了一阵子,生产者往主题写入消息的速度超过了应用程序验证数据的速度,这个时候该怎么办?如果只使用单个消费者处理消息,应用程序会远跟不上消息生成 的速度。显然,此时很有必要对消...原创 2018-11-19 15:15:04 · 552 阅读 · 0 评论 -
Kafka By the sea——Kafka生产者(向Kafka写入数据)
在这一章,我们将从Kafra 生产者的设计和组件讲起,学习如何使用Kafka 生产者。我们将情示如何创建KafkaProducer 和ProducerRecords 对象、如何将记录发送给Kafka ,以及如何处理从Kafka 返回的错误,然后介绍用干控制生产者行为的重要配置选项,最后深入探讨如何使用不同的分区方棒和序列化器,以及如何自定义序列化器和分区器。 生产者概览 一个应用程序在很多情况下需...原创 2018-11-19 13:42:28 · 2710 阅读 · 0 评论 -
Kafka By the sea——消息的压缩和消息格式的选择
文章目录Kafka消息压缩Kafka消息格式 Kafka消息压缩 Kafka 支持的压缩算法还挺多的,一般支持GZIP、Snappy、LZ4等压缩算法,具体是通过compression.type 来开启消息压缩并且设定具体的压缩算法。 props.put(“compressions.type”, “GZIP”); 压缩算法是要占用挺大一部分cpu资源的并且耗时也是不小的,而压缩的目的很大程度上是...原创 2019-11-26 15:53:30 · 561 阅读 · 0 评论 -
Kafka By the sea——Kafka概述
数据为企业的发展提供动力。我们从数据中获取信息,对它们进行分析处理,然后生成更多的数据。每个应用程序都会产生数据, 包括日志消息、度量指标、用户活动记录、晌应消息等。 发布与订阅消息系统 先来了解发布与订阅消息系统的概念,。数据(消息)的发送者(发布者)不会直接把消息发送给接收者,这是发布与订阅消息系统的一个特点。发布者以某种方式对消息进行分类,接收者(订阅者)订阅它们,以便接收特定类型的消息。 ...原创 2018-11-14 10:31:00 · 742 阅读 · 0 评论