kafka
文章平均质量分 71
kafka
master-dragon
weixin:dwl_1270530306
展开
-
Kafka复习和问题自问?
http://kafka.apache.org/普通java程序,gradle 引入jarcompile "org.slf4j:slf4j-nop:1.7.2"compile "org.apache.kafka:kafka-clients:2.2.0"创建topicbin/kafka-topics.sh --create --zookeeper 172.16.227.250:2181,...原创 2019-07-28 10:36:49 · 217 阅读 · 0 评论 -
kafka 消息和存储实战
record, partition, offset, replication一个非常大的Topic可以被分成多个分区(partition), 从而分配到多个broker中(分区可以存储在不同的服务器上,分区是对Topic中所包含数据集的物理分区)。kafka中的每一条消息(record)都会分配一个自增ID(Offset)。一个partition中的消息可以顺序发给消费者,不保证多个p...原创 2019-07-27 20:14:19 · 413 阅读 · 0 评论 -
数据写到Kafka报了一些错误,// 未完
RuntimeException org.apache.kafka.common.errors.NetworkException ERROR KafkaProducer:org.apache.kafka.common.errors.NotLeaderForPartitionExceptionorg.apache.kafka.common.errors.NetworkExceptionorg....原创 2019-03-06 23:31:01 · 5527 阅读 · 1 评论 -
kafka-1.1.0 源码环境搭建
开发环境和工具mac osgradle 4.7java 1.8scala 2.12.7kafka-1.1.0-srcidea 2018.1.2scala-intellij-bin-2018.1.10.zip源码编译源码目录下运行gradle idea参考:https://blog.csdn.net/u013256816/article/details/78533725...原创 2018-10-04 20:48:04 · 736 阅读 · 1 评论 -
Ubuntu虚拟机 Zookeeper+Kafka集群搭建
机器和环境三台ubuntu 16.04 64bitip地址zookeeper主从kafka broker id172.16.227.128follower1172.16.227.129leader2172.16.227.130follower3jdk 1.8kafka_2.11-1.1.0zookeeper-3.4.12/172.1...原创 2018-10-03 18:42:26 · 1050 阅读 · 0 评论 -
KafkaProducer & KafkaConsumer API 使用- 多线程消费多patition
topic的创建见 https://blog.csdn.net/qq_26437925/article/details/97611693发数据到kafkavoid send(){ Properties props = new Properties(); props.put("bootstrap.servers", "172.16.227.250:9092,172...原创 2019-07-28 23:33:25 · 412 阅读 · 0 评论 -
《Kafka源码解析与实战》Broker的控制管理模块
Kafka broker 相关KakfaController的选举创建一个 control 瞬时节点(Ephemeral Node),创建该瞬时节点的原子性有zookeeper保证KakfaController 初始化初始化Kafka集群内部的时钟,其时钟的具体数值是存在zookeeper上,路径为/contoller_epoch, Broker Server 利用此值区分请求的实效...原创 2019-08-03 22:54:56 · 255 阅读 · 0 评论 -
kafka producer
借助Kafka-1.1.0一个比较老的版本查看源码学习:https://github.com/doctording/kafka-1.1.0-src/pull/1/files整体大致流程摘自:https://www.cnblogs.com/bigshark/p/11184070.html分同步发送和异步发送同步发送消息直接立即发送给对应的broker处理异步发送消息不是立即发送给对...原创 2019-08-05 09:27:05 · 3730 阅读 · 3 评论