xiweihao的博客

服务端常规配置broker加入集群需要的配置主题的默认配置如何选定分区的数量硬件的选择消费者和消费群组服务端常规配置 broker.id:每个broker都需要一个标识符，在整个集群中必须唯一。 port: kafka服务的端口。 zookeeper.connect: zookeeper保存broker元数据地址。 log.d...

生产命令消费命令topic删除命令topic描述命令在linux运行kafka bin/kafka-server-start ../config/server.properties生产命令1.创建一个topic KAFKA_HOME/bin/kafka-topics.sh --create --zookeeper 127.0.0.1:2181 --repli...

订阅主题轮训消费数据同步提交当前偏移量（后面的任务会阻塞）异步提交当前偏移量异步回调方式提交当前偏移量同步和异步组合提交当前偏移量提交特定的偏移量（在处理数据的总监提交偏移量）原子性提交当前偏移量调用消费者api获取数据 订阅主题，可以用正则表达式匹配，下面指定以test开始的主题都会监听。 轮训消费数据（一旦消费者订阅了主题，轮...

kafka为什么要在topic里加入分区的概念？如果没有分区,topic中的segment消息写满后,直接给订阅者不是也可以吗？Kafka可以将主题划分为多个分区（Partition），会根据分区规则选择把消息存储到哪个分区中，只要如果分区规则设置的合理，那么所有的消息将会被均匀的分布到不同的分区中，这样就实现了负载均衡和水平扩展。另外，多个订阅者可以从一个或者多个分区中同时消费数据，以支撑...

kafka borker config/server.properties配置#broker的全局唯一编号，不能重复broker.id=0#用来监听链接的端口，producer或consumer将在此端口建立连接，如果使用1024以下的端口，需要root权限启动kafka(不建议这么做)listeners=PLAINTEXT://address-02:19092#代理将向生产者...

准备环境 kafka需要依赖 java和zookeeper ，java安装网上有很多。 zookeeper下载安装教程：https://blog.csdn.net/xiweihao/article/details/103405846一.下载 官网下载:http://kafka.apache.org/downloads ...