kafka
文章平均质量分 51
qzWsong
这个作者很懒,什么都没留下…
展开
-
kafka topic分区数设定
测试结果:31.89 34.10 前后对比可以得知,每次发送70000条记录时效率最高,此时吞吐量 70000*1KB/s 70MB/s。--producer-props bootstrap.servers=localhost:9092 # 指定服务。kafka-producer-perf-test.sh # 生产者测试。--num-records 300000 # 总共300000条数据。kafka-consumer-perf-test.sh # 消费者测试。# 消费者吞吐量测试工具。原创 2024-01-11 10:22:36 · 1188 阅读 · 0 评论 -
Kafka开启SASL认证,访问速度很慢
kafka集群开启sasl配置后,本地电脑使用kafkatools连接kafka集群速度非常非常慢,但是生产环境的kafkaconsumer却很快,而且不采用sasl模式也是很快的,最后在本地hosts添加kafka集群的域名配置,连接地址采用域名不使用Ip就可以了。原创 2023-06-05 14:26:18 · 565 阅读 · 0 评论 -
Flink-ChatGpt问答专题
需要注意的是,如果您在更新作业时只是修改了作业参数,而没有修改作业逻辑,则新的JobGraph和之前的JobGraph可能是相同的。需要注意的是,为了保证exactly-once语义,您需要在Flink作业中启用checkpoint机制,并配置适当的checkpoint间隔和超时时间。需要注意的是,在使用checkpoint机制时,您需要确保作业的处理逻辑是幂等的,即重复处理同一条记录不会产生副作用。在Flink中,判断是重启还是换了一个新的Jar包,是根据作业的JobID和JobGraph来进行的。原创 2023-06-01 14:48:40 · 628 阅读 · 0 评论 -
大数据异常
大数据异常。原创 2023-01-17 14:09:17 · 582 阅读 · 0 评论 -
kafka用法及名词解析
每个分区都可设置多个分区副本,副本之间内容一样其中一个副本为leader副本,负责通信、写入写出,Acks机制ack=0ack=1ack=-1/allkafka幂等性重复校验写入数据流程1、producer 汇集一个batch数据,交给kafka集群2、kafka通过集群分区规则,找的所在分区的leader副本进行数据写入pagecatch3、leader副本后台会将pagecatch的数据持久化到磁盘上,形成segment4、followe副本会向l.原创 2022-06-10 10:56:56 · 374 阅读 · 0 评论 -
Kafka-consumer
Kafka-consumer 不要忘了closepackage com.ws.kafkaimport java.util.Propertiesimport org.apache.kafka.clients.producer.{KafkaProducer, ProducerRecord}import org.apache.kafka.common.serialization.StringSerializerobject KProducer { def main(args: Array.原创 2021-02-18 21:46:37 · 90 阅读 · 0 评论 -
kafka基本用法
查看offset原创 2021-02-18 21:07:11 · 116 阅读 · 0 评论