关闭

kafka topic手动删除及其他相关

10035人阅读 评论(1) 收藏 举报
分类:
1.手动删除kafka topic


运行./kafka-topic --zookeeper zk1:2181,zk2:2181 --topic topic_name --delete
如果topic没能成功被删除(比如broker挂掉等)
可以用以下方式手动清理
(当然,也可以重启zk和broker;这样当broker正确注册上zk试,被mark delete的topic会被自动清理掉)


===============停止kafka,保持zookeeper仍旧运行======================================


a.用zookeeper客户端zkClient连接zookeeper,如:


./zkCli.sh -server 10.67.2.21:2181,10.67.2.20:2181


连接上后,可以用命令查看zk的目录结构


ls /brokers/topics


然后可以看到该目录下有pjtest目录


删除方式:
delete /brokers/topics/pjtest/partitions/0/state
...
delete /brokers/topics/pjtest/partitions/9/state
delete /brokers/topics/pjtest/partitions/0
...
delete /brokers/topics/pjtest/partitions/9
delete /brokers/topics/pjtest/partitions
delete /brokers/topics/pjtest


===========停止kafka和zookeeper========================


a.查看server.properties中配置的log.dirs路径
b.进入到此路径中(如果kafka是一个集群,需要在每台机器上执行)
假定要删除的topic名称叫做:pjtest


则rm -rf pjtest-*


vi replication-offset-checkpoint
原文为:
0
15
pjtest 4 0
pjtest 8 0
managejob 5 0
pjtest 6 0
pjtest 0 0
pjtest 5 0
pjtest 3 0
pjtest 7 0
pjtest 9 0
pjtest 2 0
managejob 9 0
managejob 1 0
managejob 3 0
pjtest 1 0
managejob 7 0


修改为:
0
5
managejob 5 0
managejob 9 0
managejob 1 0
managejob 3 0
managejob 7 0




vi recovery-point-offset-checkpoint
同理修改


===========启动kafka和zookeeper========================


2.kafka日志清理


kafka将会保留所有发布的消息,不论他们是否被消费过
如果需要清理,则需要进行配置;
server.properties配置:


log.cleanup.policy=delete
日志清理策略


log.retention.hours=240
数据存储的最大时间超过这个时间会根据log.cleanup.policy设置的策略处理数据,也就是消费端能够多久去消费数据
log.retention.bytes和log.retention.minutes任意一个达到要求,都会执行删除


log.retention.bytes=-1
topic每个分区的最大文件大小
一个topic的大小限制=分区数*log.retention.bytes
-1表示没有大小限制
log.retention.bytes和log.retention.minutes任意一个达到要求,都会执行删除


log.retention.check.interval.ms=5minutes
文件大小检查的周期时间


3.kafka的分布式


一个日志的多个partition被分散在kafka集群的多个server上,并且每一个server处理来自于某个partition的数据请求。每个partition可以配置副本个数,以便容错。
(注:在创建topic时,可以指定--replication-factor参数)


每个partition都有个一个server作为leader,并且有0或者多个server作为followers。leader处理对于这个partition的所有读写请求,而followers则被动的复制一切。如果leader挂掉了,一个followers则会自动的成为新的leader。每个server都会在某些partition上作为leader,而在另一些partition上作为follower,所以整个集群是非常平衡的。
(注:如果topic的repliation配置为1,则每个partition就只有唯一的一个leader,没有follower;所以要保证容错性,至少replication应该配置为2)




4.kafka producer最好使用轮询的方式向topic写数据,保证topic每个partition的负载是均衡的
2
0

查看评论
* 以上用户言论只代表其个人观点,不代表CSDN网站的观点或立场
    个人资料
    • 访问:1460541次
    • 积分:15680
    • 等级:
    • 排名:第711名
    • 原创:473篇
    • 转载:64篇
    • 译文:5篇
    • 评论:198条
    最新评论