大数据运维之kafka日常
人蠢多读书
这个作者很懒,什么都没留下…
展开
-
kafka java api 入数据报错:Error: MESSAGE_TOO_LARGE
1.kafka版本:kafka_2.11-2.1.0-kafka-4.0.0.jar 2.server.properties:所有调优参数都是默认 3.topic :null,所有参数默认 4.入库1G txt文件,只加三个参数:acks:allbatch.size:1048576linger.ms:10引用:http://www.mamicode.com/info-detai...原创 2019-12-18 17:09:37 · 3356 阅读 · 0 评论 -
kafka log.retention.bytes
转载来自:https://blog.csdn.net/waneyongfu/article/details/78983820感谢博主,一直没明白这个是啥意思。Kafka定期为那些超过磁盘空间阈值的topic进行日志段的删除。这个阈值由broker端参数log.retention.bytes和topic级别参数retention.bytes控制,默认是-1,表示Kafka当前未开启这个留存机...转载 2019-06-21 10:00:44 · 16328 阅读 · 0 评论 -
kafka auto.leader.rebalance.enable和unclean.leader.election.enable
参考转载来自:https://time.geekbang.org/column/article/1011711.auto.leader.rebalance.enable:ture/false------是否允许定期进行 Leader 选举(1)配套参数:若开启,默认300s即5分钟扫描一次,每次若发现每个broker之间的leader对比 比率超过10%,则重新发起选举。...转载 2019-06-19 18:10:22 · 3439 阅读 · 1 评论 -
kafka_0.10.1.0集群部署
转载来自:http://blog.csdn.net/czmacd/article/details/54410508 1. 背景简介 Kafka是一个分布式流平台,原本开发自LinkedIn,之后成为Apache项目的一部分,用于构建实时数据管道和流媒体应用,水平扩展、容错,很多公司都在生产环境中使用:LinkedIn,Yahoo,Twitter,Uber,Oracle…..。 K...转载 2017-10-27 09:29:13 · 374 阅读 · 0 评论 -
Kafka彻底删除topic
转载:http://orchome.com/140kafka彻底删除topickafka0.8.1.1以及之前版本都无法使用类似一条命令就彻底删除topic,以前看过网上一些删除命令不过只是在zookeeper注销信息而已,但是实际的日志内容还是保存在kafka log中,因为个人需要所以慢慢琢磨了方法彻底清除topic(ps:kafka0.8.2好像直接支持直接删除,不过转载 2017-08-07 10:28:17 · 366 阅读 · 0 评论 -
kafka登入报错
一.kafka启动报如下错误,或者 启动消费者和生产者报如下错误 SLF4J: Failed to load class "org.slf4j.impl.StaticLoggerBinder".SLF4J: Defaulting to no-operation (NOP) logger implementationSLF4J: See http://www.slf4j.org/code转载 2017-07-25 18:34:37 · 840 阅读 · 0 评论 -
Kafka心得小计
1.kafkalog大小与free -g 里面的buffer/cache 的关系: buffer的大小与log大小直接相关联,即使停掉kafka也是如此,除非删除log,否则日志占用的大小,会一直体现在buffer里,并在buffer里占用相同的大小。原创 2017-08-09 15:38:17 · 237 阅读 · 0 评论