kafka
失散Lost
这个作者很懒,什么都没留下…
展开
-
kafka处理大消息的相关配置
kafka的设计初衷是迅速处理短消息,比如几k或者几十k,当然更小也不合适,一般认为处理10k大小的消息吞吐量性能最好。但有些情况下,没有办法限制消息的体积或者分割消息,就必须更改kafka的相关配置。kafka消息的最大值首先,kafka的一条消息肯定是有一个最大值的,在kafka的数据存储格式中,有一个4个字节的整数值来描述这条消息的大小,也就是说一条消息最大是2147483647字节,接近2个g。producer端相关参数max.request.sizeInt类型,默认值是1048576,原创 2020-09-03 17:26:53 · 6088 阅读 · 0 评论 -
kafka配置ssl加密
1.背景:之前的证书过期了,kafka的服务日志一直报Failed authentication with /ip (SSL handshake failed)生产者报的错误PKIX path validation failed: java.security.cert.CertPathValidatorException: timestamp check failed2.重新生成一) 生成认证文件1) 为每个Kafka broker生成SSL密钥和证书。keytool -keystore原创 2020-09-02 17:52:28 · 4077 阅读 · 1 评论 -
kafka生产者发送消息经常失败,集群报错direct buffer memory,占用cpu达到200%,频繁YGC
背景:kafka测试集群,5台节点问题描述:生产者发送消息失败概率大,尤其是连接建立的时候。查看内存信息,发现cpu占用过高,一直发生gc查找原因:查找kafka服务日志,发现5号节点有如下报错:top命令详解top -d 1jstat -gcutil 23518jmap -heap 23518jstat参数说明:S0C:第一个幸存区的大小 S1C:第二个幸存区的大小 S0U:第一个幸存区的使用大小 S1U:第二个幸存区的使用大小 EC:伊甸园区的大小原创 2020-08-27 15:05:13 · 1905 阅读 · 1 评论 -
记一次kafka数据爆满的清理记录
kafka服务某个节点最近总是挂掉,今天是挂掉后起来立马挂掉查看server.log有报错记录:shutdown broker because all log dirs in have failed然后查看存储目录确实满了其中某个主题每个分区占了200G以上查看这个主题的配置> bin/kafka-configs.sh --zookeeper localhost:2181 --entity-type topics --entity-name my-topic --describe原创 2020-08-19 16:14:22 · 1894 阅读 · 0 评论 -
通过偏移量删除kafka主题中的消息
使用java程序的方法删除kafka的消息原创 2020-07-13 18:14:15 · 1150 阅读 · 0 评论 -
kafka常用shell命令
kakfa常用命令,kafka服务启动和停止命令,创建topic命令,查看topic列表,查看topic最大偏移量,控制台发送和接收消息,查看某个消费者组的当前偏移量和最大偏移量,未消费数据量原创 2020-05-11 17:43:45 · 398 阅读 · 0 评论