ThisIsNobody的博客

Kafka用来创建实时数据管道和数据流应用，支持横向扩展，高容错性，快速发布订阅：处理：存储：

特性：为什么使用Kafka？ 1) 多个生产者 从多个前端收集数据，并统一格式对外提供数据 2) 多个消费者 支持多个消费者从单独的消息流读取数据，消费者之间互不影响 3) 基于磁盘的数据存储 消息被提交到磁盘，根据设置的保留规则进行保存。 4) 伸缩性     > broker数量从一到多，不断增长，即使个别失效，仍可继续正常提供服务     >复制系数越高，容错能...

1) 本机安装Linux，JDK，ZooKeeper，启动ZooKeeper2) 安装Kafka > 解压缩# tar -zxvf kafka_2.11-1.1.0.tgz# mv kafka_2.11-1.1.0 kafka> 启动kafka进程# ./kafka-server-start.sh -daemon ../config/server.properties> 查看是否...

发送消息> 创建ProducerRecord对象，包含主题和内容，分区和键可选> 序列化器将对象序列化以便网络传输 > 数据传输到分区器，如果在ProducerRecord中指定了分区，则直接继续发送，若未指定分区，则根据对象的键选择分区> 相同分区分到同一个消息批次中，并发送给服务器> 服务器接收到消息后返回相应，如果成功写入则返回RecordMetaData对象，...

消费者概念消费者读取过程创建消费者对象 -> 订阅主题 -> 读取消息 -> 验证消息 -> 保存消息消费者群组消费者属于消费者群组，一个消费者群组对应一个主题，一个消费者读取一个或多个分区当消费者来不及读取生产者的写入时，就需要消费者的伸缩性，即增加群组中的消费者，这是横向伸缩消费能力的主要方式再均衡分区的所有权从一个消费者转移到另一个消费者，叫做再均衡，实现系统高可用性...

official quickstart 1 控制台生产者，消费者 使用kafka内置zookeeper 生产者控制台 消费者控制台 进程jps 2 使用kafka connect导入导出数据-file stream ConnectStandalone进程 每10s提交偏移量...