- 博客(3)
- 收藏
- 关注
RSS订阅原创 Kafka之生产者
生产者以什么样的策略把消息发到各个分区？1.分区原因（1）方便在集群中扩展，一个topic可以有多个partition组成，而每个partition可以通过调整以适应它所在的机器（2）可以提高并发，因为可以以partition为单位读写2.分区原则我们需要将生产者发送的数据封装成一个ProducerRecord对象。（1）指明partition的情况下，直接将指明的值作为partit...
2019-12-01 13:26:04
223
原创 kafka工作流程及文件储存机制
kafka工作流程生产者和消费者面向的都是topic，topic分成多个分区，每个分区都有多个副本，每个分区副本中只有一个leader，多个follower。生产者和消费者只与分区的leader沟通，生产者通过分区器把一批一批的消息分到各个不同的分区，之后follower去实时同步leader信息。然后消费者就可以去找leader获取消息。每个partition对应于一个log文件，produ...
2019-12-01 10:20:32
150
原创 kafka心得笔记（一）
Kafka是什么：一个分布式的基于发布和订阅模式的消息队列。三大作用：1.异步通信允许用户把若干个消息放入队列，但并不立即处理它。有需要的时候再去处理。比如：用户注册成功页面之后，可以先响应注册成功页面，然后把发送短信的请求写入消息队列，等达到一定量或者一个时间点再去发送注册成功短信。2.消峰配置集群的时候，为了不造成资源浪费，会按照正常使用情况去配置，但这有一个缺点，当某个时间点，...
2019-11-30 22:39:24
114
空空如也
空空如也
TA创建的收藏夹 TA关注的收藏夹
TA关注的人