程研板的博客

目录一.创建3个配置文件二.启动zk和kafka三.创建topic、消费者、生产者四.三个broker五.kill掉一个，依然能工作六.kill掉两个，依然能工作一.创建3个配置文件server.properties：broker.id=0listeners=PLAINTEXT://hadoop000:9092log.dirs=/home/hadoop/app/tmp/kafka-logserver-1.properties：broker.id=1listeners=PLAINTEXT:/

存储机制kafka的数据存储：每个topic的分区对应一个文件夹，用来保存一个分区的数据。这个文件夹下分为多个segment，将分区数据分为多个片段。每个segment有index和log两个文件。[hadoop@hadoop000 topic_test-0]$ ls00000000000000000099.index 00000000000000000099.logindex文件内容：[hadoop@hadoop000 kafka_2.11-2.2.1]$ bin/kafka-run-c

一般情况下，producer在发送一条数据时就会登记回调函数（回调函数暂时不运行，由于是异步，主程序会继续发送其他数据），数据到达服务器broker上指定分区时，服务器会通知producer已经发送成功。producer收到消息后就会触发回调函数，可以显示这条数据在服务器端的一些信息（偏移量，分区等）。Kafka的producer：public static void producerSendWithCallback(){ Properties properties = new Prop

目录集群监控集群安全集群配置最佳实践集群监控集群安全集群配置最佳实践

根据网上的教程kafka eagle的配置文件配好后，启动kafka eagle，kafka eagle的面板却显示不了kafka的任何信息。我的配置：kafka.eagle.zk.cluster.alias=cluster1cluster1.zk.list=hadoop000:2181cluster1.kafka.eagle.broker.size=20kafka.zk.limit.size=25kafka.eagle.webui.port=8048cluster1.kafka.ea

目录概念及优劣势分析kafka为什么吞吐量大日志检索：概念及优劣势分析与其他mq的区别：kafka其实是个流处理平台，只是提供了发布订阅和topic支持的功能吞吐量高，单区有序，但整体不保证有序能够通过历史日志消费历史数据kafka为什么吞吐量大主要以下四个原因：日志检索：每条消息的组成：...

目录手动提交offset单Partition提交offset手动控制一到多个分区多线程并发处理控制offset起始位置Consumer限流Consumer Rebalance解析手动提交offset单Partition提交offset手动控制一到多个分区多线程并发处理控制offset起始位置Consumer限流Consumer Rebalance解析...

目录

Kafka的客户端API操作错误代码public static final String TOPIC_NAME = "topic_test2";public static void delTopic() throws Exception{ AdminClient adminClient = adminClient(); DeleteTopicsResult deleteTopicsResult = adminClient.deleteTopics(Arrays.asL

一.Message Queue好处解耦：允许你独立的扩展或修改两边的处理过程，只要确保它们遵守同样的接口约束。峰值处理能力：在访问量剧增的情况下，应用仍然需要继续发挥作用，但是这样的突发流量并不常见。使用消息队列能够使关键组件顶住突发的访问压力，而不会因为突发的超负荷的请求而完全崩溃。二.Message Queue的发布/订阅模式一对多，消费者消费数据之后不会清除消息：因为有多个消...