Kafka
David_lou
这个作者很懒,什么都没留下…
展开
-
《Kafka》3-Kafka的分区机制
有讲到分区机制了,我发现只要是数据存储系统,都会涉及到分区的概念。例如mysql的分表/redis的分区/kafka的分区。在概览这一节我们看到了Kafka的基本组件,在Broker里面可以有多个主题的消息存储单元。在存储单元内可以有多个分区。 生产者生成消息之后发送给Broker,但是怎么进行分区呢。分区又会带来什么优点呢? 负载均衡,分区主要的目标是可扩展性,不同的分区可以部署在不同的机器上,我们可以扩展机器,增加吞吐量 保证消息的有序性。在同一个分区的消息,能保证消息的消费顺序。 负载均衡策略.原创 2020-10-13 17:36:39 · 239 阅读 · 0 评论 -
《Kafka》2-Kafka集群方案
Kafka一般都是集群使用,那么在搭建集群的时候,需要选择什么样的服务器部署kafka,需要部署多少台Kafka机器,需要多大磁盘空间呢。其实都是有迹可循的 操作系统 现在服务器一般有三种操作系统可以选,linux/windows/macos。对于Kafaka而言,Linux是最合适的操作系统。主要有以下三个优点。 i/o模型较优。 外部设备读取速度较快 社区支持良好 在redis章节我们就比较过各种I/O模型的概念。有5中,同步阻塞IO/同步非阻塞IO/多路复用IO/信号驱动IO/异步IO。这几原创 2020-10-13 16:12:34 · 314 阅读 · 0 评论 -
《Kafka》1-概述
在平常的开发工作中,大家或多或少的会用到消息中间件。可能是为了解除循环依赖,可能是为了削峰填谷。不管怎么样,消息中间件已经成为开发架构中不可缺少的重要组成部分。 消息中间件有很多选型,包括RabbitMq/RocketMq/ActiveMq/Kafka/。这个系列是主要总结一下胡希老师在极客时间的Kafka核心技术与实践课程。大家像购买的话可以扫描最下方的二维码。 Kafka是什么? Kafka是一个消息引擎,提供消息传递功能。 Kafka是一个实时流处理引擎,提供实时的流处理能力。 消息引擎 大原创 2020-10-13 12:40:52 · 219 阅读 · 1 评论