![](https://img-blog.csdnimg.cn/20201014180756738.png?x-oss-process=image/resize,m_fixed,h_64,w_64)
Apache Kafka
qq_34505594
这个作者很懒,什么都没留下…
展开
-
kafka顺序写入&ZeroCopy
1.为何kafka把消息存在磁盘上,但可以轻松支持每秒百万级的写入请求 / kafka高吞吐率的原因? kafka为了防止丢失数据,将收到的消息写入磁盘中,但仍能保证高吞吐率,超过了大部分的消息中间件,使得kafka在日志处理等海量数据场景广泛应用。为了优化写入速度kafka采用了顺序写入和MMFile两个技术。 因为硬盘是机械结构,每次读写都会寻址->写入,其中寻址是一个“机械动作”,它是最耗时的。所以硬盘最讨厌随机I/O,最喜欢顺序I/O。为了提高读写硬盘的速度,Kafka就是使用顺序I/O。原创 2020-09-08 21:35:40 · 1277 阅读 · 0 评论 -
kafka分区和日志
1.Kafka中所有消息是通过Topic为单位进行管理,每个Kafka中的Topic通常会有多个订阅者,负责订阅发送到改Topic中的数据。Kafka负责管理集群中每个Topic的一组日志分区数据。 生产者将数据发布到相应的Topic,可以选择不同的分发策略,选择将哪个记录分发送到Topic中的哪个Partition。例如可以round-robin方式完成此操作,然而这种仅是为了平衡负载。也可以根据某些语义分区功能(例如基于记录中的Key)进行此操作。 每组日志分区是一个有序的不可变的的日志序列,分区中原创 2020-09-05 17:42:42 · 570 阅读 · 0 评论 -
Kafka概念与架构-笔记
1.简介:Kafka是由Apache软件基金会开发的一个开源流处理平台,由Scala和Java编写。Kafka是一种高吞吐量的分布式发布订阅消息系统,它可以收集并处理用户在网站中的所有动作流数据以及物联网设备的采样信息。一般用作系统间解耦、异步通信、削峰填谷等作用。同时Kafka又提供了Kafka streaming插件包实现了实时在线流处理。相比较一些专业的流处理框架不同,Kafka Streaming计算是运行在应用端,具有简单、入门要求低、部署方便等优点。 2.业务场景: (1)消息队列 k原创 2020-09-04 23:38:02 · 121 阅读 · 0 评论