kafka
weixin_46373361
学生
展开
-
kafka如果宕机重启了,怎么指定我要消费的偏移量呢?
kafka如果宕机重启了,怎么指定我要消费的偏移量呢?借图原创 2021-09-12 22:34:27 · 233 阅读 · 0 评论 -
kafka如何保证数据不丢失
kafka如何保证数据不丢失producerconsumerproducer1.ack的策略配置ack = 0生产者发送消息之后 不需要等待服务端的任何响应,它不管消息有没有发送成功,如果发送过程中遇到了异常,导致broker端没有收到消息,消息也就丢失了。实际上它只是把消息发送到了socketBuffer(缓存)中,而socketBuffer什么时候被提交到broker端并不关心,它不担保broker端是否收到了消息,但是这样的配置对retry是不起作用的,因为producer端都不知道是否发生了原创 2021-06-03 10:32:29 · 375 阅读 · 0 评论 -
kafka日志清理
kafka日志清理日志删除日志压缩由于kafka接收了来自端口发送的数据,导致kafka经常报错数据量过大,存储不了数据无法继续接收。kafka将消息存储在磁盘中,kafka中的每一个分区都对应一个日志文件,进而又细分为多个日志分段文件。日志删除log.cleanup.policy=delete启用删除策略log.cleanup.policy=delete#专门的日志删除任务来周期性检测和删除不符合保留条件的日志分段文件,默认300000ms,5分钟log.retention.check.i原创 2021-06-03 09:48:15 · 861 阅读 · 0 评论 -
kafka集群搭建
kafka集群搭建kafka项目经验之kafka机器数量kafka数量=2*(峰值生产速度*副本数/100)+1假设搭建三台kafka集群解压kafka安装包到指定目录如:/opt/kafka到kafka/config目录下配置server.propertiesbroker.id=1 delete.topic.enable=true log.dirs=/tmp/kafka-logs zookeeper.connect=192.168.1.202:2181,192.168.1.201:2原创 2021-06-02 19:26:34 · 74 阅读 · 0 评论 -
Kafka非正常关闭后启动,jps显示有kafka,然后又没有了
kafka集群启动失败大多数人的虚拟机可能长时间开启,断电虚拟机关闭,或者进程关闭顺序zookeeper在kafka之前关闭。会导致kafka在zookeeper中注册的零时节点没有销毁。下次kafka启动时,同样跑去注册,发现zookeeper中kafka的brokers/ids不为空,就会默认已经启动。kafka就不会在启动。[zk: localhost:2181(CONNECTED) 12] ls /kafka/brokers/ids[1, 2, 3][zk: localhost:2181(原创 2021-06-02 16:03:32 · 1608 阅读 · 0 评论 -
kafka基础入门
kafka基本命令启动:bin/kafka-server-start.sh config/server.properties关闭:bin/kafka-server-stop.sh后台启动:bin./kafka-server-start.sh -daemon config/server.properties创建主题:bin/kafka-topics.sh --create --zookeeper 主机名:2181 --topic 主题名 --partitions 个数 --replication-f原创 2020-10-28 21:33:51 · 369 阅读 · 1 评论