![](https://img-blog.csdnimg.cn/20191027154740812.png?x-oss-process=image/resize,m_fixed,h_224,w_224)
Kafka
走了关门的耳朵
这个作者很懒,什么都没留下…
展开
-
Kafka-消费者提交偏移量
偏移量的作用,一个消费者组消费一个主题的过程中,如果有消费者发生崩溃或者有新的消费者加入群组,就会触发再均衡,完成再均衡后,每个消费者可能会分配到新的分区,为了能够继续之前的消息读取,消费者需要一个记录上一次读取到的位置的偏移量,之后从这个偏移量指定的位置开始读取。在新版 Kafka 中,消费者提交偏移量是通过向 __consumer_offset 特殊主题发送包含每个分区的偏移量来实现的。K...原创 2019-10-30 22:47:37 · 1414 阅读 · 0 评论 -
Kafka-消费者订阅主题
消费者订阅消费者通过 subscribe() 和 assign() 两种方式订阅主题subscribe()使用 subscribe() 可以订阅一个或多个主题,对于这个方法而言,可以以集合的方式订阅多个主题,也可以以正则表达式的形式订阅特定模式的主题。subscribe 的几个重载方法如下:public void subscribe(Collection<String> to...原创 2019-10-29 21:17:51 · 3344 阅读 · 0 评论 -
KafkaAdminClient-主题分区管理
主题管理创建主题public void create(String topic, int partitions, int replication, Map<String, String> configs) throws Exception { // 为了兼容性增加一层副本系数和节点数量的判断 if (replication > getBrokerNums())...原创 2019-10-29 00:26:03 · 1657 阅读 · 0 评论 -
KafkaAdminClient-概述
在新版的 Kafka 中的 ZKUtils、AdminUtils 方法都已经过时了,目前 Kafka 提供了一个新的 API 工具 AdminClient。官网对于 AdminClient 的介绍:The AdminClient API supports managing and inspecting topics, brokers, acls, and other Kafka object...原创 2019-10-29 00:23:40 · 1521 阅读 · 0 评论 -
Kafka命令行工具-kafka-topics
kafka-topics.sh 这是与主题(Topic)有关的命令行常用参数列表选项描述--zookeeper 必填项,Zookeeper的连接信息,可填写多个Zookeeper连接信息--topic 这个参数被用于create、delete、describe和alter,除了--create外,其他命令下的topic可以是一个正则表达式--create创建一个主...原创 2019-10-27 18:04:10 · 1373 阅读 · 0 评论 -
Kafka入门-Consumer API 使用
消费者 API 允许应用程序从Kafka集群中的主题读取数据流注:使用的是新版本的 Java 语言编写的 API,不对 0.8.x 及以前版本进行讨论maven 依赖<dependency> <groupId>org.apache.kafka</groupId> <artifactId>kafka-clients</ar...原创 2019-10-27 01:03:31 · 837 阅读 · 0 评论 -
Kafka入门-Producer API使用
生产者 API 允许应用程序将数据流发送到 Kafka 集群中的主题。注:使用的是新版本的 Java 语言编写的 API,不对 0.8.x 及以前版本进行讨论maven 依赖<dependency> <groupId>org.apache.kafka</groupId> <artifactId>kafka-clients<...原创 2019-10-25 21:21:22 · 971 阅读 · 0 评论 -
Kafka入门-服务端参数配置
Kafka 服务端参数配置在 $KAFKA_HOME/config/server.properties 文件中。Kafka 服务端参数有很多,涉及使用、调优等方面,本文将对一些常用的参数做记录(会不定时进行补充)zookeeper.connect该参数指明 broker 要连接的 Zookeeper 集群的服务地址,是一个必填项。如果 Zookeeper 集群有多个节点,则可以用逗号(,)将每...原创 2019-10-25 21:12:01 · 1285 阅读 · 0 评论 -
Kafka入门-Kafka安装和部署
Kafka 官网地址:https://kafka.apache.org/Kafka 依赖 Zookeeper 组件,因此在安装 Kafka 之前需要先安装 JDK 和 Zookeeper。安装 JDK注:JDK 要求 1.8 版本以上JDK 的安装:JDK安装安装 ZookeeperZookeeper 的安装见:Zookeeper的安装和部署安装 Apache Kafka...原创 2019-10-25 01:45:44 · 141 阅读 · 0 评论 -
Kafka入门-Kafka概述
简介Apache Kafka 是一个分布式发布-订阅(pub-sub)消息系统,它一般被称为分布式提交日志或者分布式流平台,它以高吞吐、持久化、易水平扩展、支持流数据处理等多种特性而被广泛使用。目前越来越多的开源分布式处理系统如 Strom、Spark、Flink 等都支持与 Kafka 集成。Kafka 具备如下 3 个特点:消息系统:提供消息的发布和订阅,基于发布订阅模式存储系统:K...原创 2019-10-25 01:38:40 · 163 阅读 · 0 评论