kafka
kxj19980524
程序员在线接单
展开
-
Kafka拦截器(interceptor)Java-API操作-06
拦截器原理Producer拦截器(interceptor)是在Kafka 0.10版本被引入的,主要用于实现clients端的定制化控制逻辑。对于producer而言,interceptor使得用户在消息发送前以及producer回调逻辑前有机会对消息做一些定制化需求,比如修改消息等。同时,producer允许用户指定多个interceptor按序作用于同一条消息从而形成一个拦截链(int...原创 2019-05-13 19:14:32 · 333 阅读 · 0 评论 -
Kafka自定义分区生产者java-API操作-05
消息存哪个分区上的规则:首先根据自定义分区,如果没有自定义分区就根据key的hash,value的hash,如果这俩都没有,就用轮询方式.自定义分区:把所有消息存到1分区定义一个类实现Partitioner接口,重写里面的方法(过时API)package com.buba.kafka;import java.util.Map;import kafka.producer....原创 2019-05-13 11:46:50 · 751 阅读 · 0 评论 -
Kafka生产者java-API操作-04
导入依赖 <!-- https://mvnrepository.com/artifact/org.apache.kafka/kafka --> <dependency> <groupId>org.apache.kafka</groupId> <artifact...原创 2019-05-13 11:10:41 · 693 阅读 · 1 评论 -
kafka消费者组-03
消费者组消费者是以consumer group消费者组的方式工作,由一个或者多个消费者组成一个组,共同消费一个topic。每个分区在同一时间只能由group中的一个消费者读取,但是多个group可以同时消费这个partition。在图中,有一个由三个消费者组成的group,有一个消费者读取主题中的两个分区,另外两个分别读取一个分区。某个消费者读取某个分区,也可以叫做某个消费者是某个分区的拥...原创 2019-05-12 20:39:23 · 845 阅读 · 0 评论 -
SpringCloud之整合kafka
https://blog.csdn.net/kxj19980524/article/details/90267404参考上面整合rabbitmq,里面代码不用变,换一下依赖换一下配置文件就可以了,其余的都一样依赖 <dependency> <groupId>org.springframework.cloud</gro...原创 2019-05-16 20:36:52 · 11670 阅读 · 5 评论 -
Kafka命令行简单操作-02
查看当前服务器中的所有topic --list:查询所有topic --zookeeper:指定从哪台zookeeper上查bin/kafka-topics.sh --list --zookeeper hadoop-senior01.buba.com:2181创建topic--topic: 定义topic名称 --replication-factor 定义副本数...原创 2019-05-10 11:50:30 · 181 阅读 · 0 评论 -
kafka集群的搭建-01
kafka集群环境准备:jdk,zookeeper集群我使用的三台节点:hadoop-senior01.buba.com,hadoop-senior02.buba.com,hadoop-senior03.buba.comkafka 安装包 https://download.csdn.net/download/kxj19980524/11170359解压后,进入目录创建一个logs文...原创 2019-05-10 11:14:19 · 172 阅读 · 0 评论 -
KafkaStreams-Java-API操作-06
Kafka Streams Kafka Streams。Apache Kafka开源项目的一个组成部分。是一个功能强大,易于使用的库。用于在Kafka上构建高可分布式、拓展性,容错的应用程序。Kafka Streams特点1)功能强大高扩展性,弹性,容错2)轻量级无需专门的集群一个库,而不是框架3)完全集成100%的Kafka 0.10.0版本兼容...原创 2019-05-14 10:54:22 · 480 阅读 · 0 评论 -
Kafka消费者Java-API操作-05
创建消费者(过时API)package com.buba.kafka.consume;import java.util.HashMap;import java.util.List;import java.util.Map;import java.util.Properties;import kafka.consumer.Consumer;import kafka.consumer...原创 2019-05-13 14:45:21 · 939 阅读 · 0 评论