微服务
文章平均质量分 70
当笑已成习掼
泡在文艺坛里的IT搬砖工。
展开
-
Kafka入门的简单部署
问题导读1.Kafka独特设计在什么地方?2.Kafka如何搭建及创建topic、发送消息、消费消息?3.如何书写Kafka程序?4.数据传输的事务定义有哪三种?5.Kafka判断一个节点是否活着有哪两个条件?6.producer是否直接将数据发送到broker的leader(主节点)?7.Kafa consumer是否可以消费指定分区消息?8.Kafka消息是采用Pull模式,还是Push模式?...转载 2018-05-25 09:14:01 · 691 阅读 · 1 评论 -
Kafka常用命令记录
启动命令:1、启动Zookper bin/zookeeper-server-start.sh config/zookeeper.properties & 2、现在启动Kafka服务(集群时有多个,分别启动) bin/kafka-server-start.sh config/server.properties 集群时(kafka配置多个broker,配置多个server.propert...原创 2018-06-05 09:14:01 · 1031 阅读 · 0 评论 -
kafka学习--初识kafka。
学习背景:公司最近打算将之前的项目改造成分布式的。但我觉得是个坑。。。 简单来说就是将之前的单体应用(应用程序、数据库)部署多套在不同的地市上。应用给统一的入口,相互之间的数据同步在应用层面进行同步。(其实数据库层面同步比较不坑,那样的话就不用从繁杂的业务里把数据的操作挑出来进行同步了。)。应用层面进行消息同步,所以选择了kafka这个消息中间件。于是就开始了kafka的学习之路。1、 消息队列(...原创 2018-05-24 20:21:05 · 883 阅读 · 0 评论 -
Kafka日志及Topic数据清理
由于项目原因,最近经常碰到Kafka消息队列拥堵的情况。碰到这种情况为了不影响在线系统的正常使用,需要大家手动的清理Kafka Log。但是清理Kafka Log又不能单纯的去删除中间环节产生的日志,中间关联的很多东西需要手动同时去清理,否则可能会导致删除后客户端无法消费的情况。 在介绍手动删除操作之前,先简单的介绍一下Kafka消费Offset原理。一、Kafka消费Offset 在通...原创 2018-06-21 15:43:12 · 1181 阅读 · 0 评论 -
Kafka中的Offset存储问题小记
Kafka的offset用于记录消费者消息消费的情况。1.概述Kafka版本[0.10.1.1],已默认将消费的 offset 迁入到了 Kafka 一个名为 __consumer_offsets 的Topic中。其实,早在 0.8.2.2 版本,已支持存入消费的 offset 到Topic中,只是那时候默认是将消费的 offset 存放在 Zookeeper 集群中。那现在,官方默认将消费的of...原创 2018-06-14 17:55:16 · 4292 阅读 · 2 评论 -
springboot整合kafka实现消息的生产与消费--消息的生产
由于工作需要,最近在研究springboot整合kafka。做一个分布式的同步应用程序。springboot整合kafka须注意版本。对于springboot 1.5版本之前的话,需要自己去配置java configuration,而1.5版本以后则提供了auto config,具体详见org.springframework.boot.autoconfigure.kafka这个包,springbo...原创 2018-06-15 11:07:05 · 6543 阅读 · 1 评论 -
kafka集群动态扩容以及动态增加Topic分区问题记录
1、broker增加时,topic对应的分区会重新分配吗?--不会。增加新的broker时,新建的topic分区将会被分配到新的broker中。之前已经创建的topic分区需要借助kafka的工具进行重新分配。--参考:https://www.iteblog.com/archives/1611.html2、topic的分区支持动态增加吗?如果可以,kafka对消息的分区会进行重新分配吗?(待研究)...原创 2018-06-20 17:08:40 · 10698 阅读 · 0 评论