kafka
記憶的深藍
认证思考,对于复杂的东西,一定要通过画流程图理清楚
展开
-
kafka监控工具&性能对比
监控工具kafka-monitorkafka-manger (类似kafka-monitor)kafka-eagle 消息监控性能对表业界主流MQ对比消息中间件的主要原理以及业内部分方案比较分析(交易猫) RocketMQ与kafka对比(18项差异)Kafka与RocketMQ—— 多Topic对性能稳定性的影响Kafka与RocketMQ——Topic数量对...原创 2018-02-20 18:22:30 · 4338 阅读 · 2 评论 -
kafka客户端自带的脚本生产-消费消息
使用控制台脚本生产-消费消息使用控制台的生产者脚本生产消息➜ bin sh kafka-console-producer.sh --broker-list localhost:9092 --topic test>one>two>three使用控制台的消费者脚本消费消息➜ bin sh kafka-console-consumer.sh --zoo...原创 2018-02-20 21:44:47 · 6865 阅读 · 0 评论 -
kafka 客户端, 生产者、消费者
生产者消费者两种消费方式消费者提交偏移量心跳任务生产者生产者要发送消息,并不是直接发送给服务端,而是先在客户端把消息放入队列中,然后由一个消息发送线程从队列中拉取消息,以批量的方式发送给服务端。maven <dependency> <groupId>org.apache.kafka</groupId> ...原创 2018-03-16 11:46:44 · 1541 阅读 · 0 评论 -
kafka 简单入门
单机模式一个副本一个分区 通过选项create创建mytest的topic,副本数为1 ,分区数为1➜ bin sh kafka-topics.sh --create --zookeeper 192.168.10.151:2181 \--replication-factor 1 --partitions 1 --topic mytestCreated topic "mytest...原创 2018-03-16 14:46:26 · 922 阅读 · 0 评论 -
kafka 操作
这里有一些关于实际运行Kafka的信息,基于在LinkedIn上的使用和经验。如果你知道更多相关信息,可以发送信息联系我们。kafka基本操作本节将回顾您在Kafka集群上执行的最常见操作。本节所介绍的所有工具都可以在Kafka分布的bin/目录下使用,如果没有参数,每个工具都将打印所有可能的commandline选项的详细信息。添加和删除topic 您可以选择手动添加topic...原创 2018-03-13 21:51:14 · 2151 阅读 · 0 评论 -
kafka 服务器配置
参考文档 kafka官方文档 kafka配置文件详细以下配置是必须的broker.idlog.dirszookeeper.connect消息保留策略kafka有两种“保留策略”: 1. 根据消息保留的时间,当消息在kafka中保存的时间超过了指定时间,就可以被删除; 2. 根据topic存储的数据大小,当topic所占的日志文件大小大于一个阀值,则可以开始删除最...原创 2018-03-20 11:05:24 · 5504 阅读 · 0 评论