![](https://img-blog.csdnimg.cn/20201014180756916.png?x-oss-process=image/resize,m_fixed,h_64,w_64)
kafaka
MakeGreatEffort
这个作者很懒,什么都没留下…
展开
-
Kafka开发实战(三)-Kafka API使用
上一篇Kafka开发实战(二)-集群环境搭建文章中,我们已经搭建起了Kafka集群了,接下来我们通过代码演示如何发布、订阅消息。 1、添加maven依赖<dependency> <groupId>org.apache.kafka</groupId> <artifactId>kafka-clients&l...转载 2018-06-03 00:35:02 · 691 阅读 · 0 评论 -
kafka log存储
因为程序从kafka里某一个topic读取的数据量过大,所以想看看这topic一天共有多少数据量,到底是不是读取的api有问题。登录到该topic某一个paritition所在的机器上,进入到kafka-logs目录下该topic-partition的子目录。子目录中存储的数据文件如下-rw-r--r-- 1 root root 906048 12月 22 10:57 000000...转载 2019-01-24 15:30:37 · 322 阅读 · 0 评论 -
kafka API详解
1. 生产者api Producer是Kafka三大组件中的一个,用于发送消息到kafka集群中Producer提供了丰富的配置(见后面的配置项)用于控制它的行为在编码之前先使用命令创建topic./kafka-topics.sh --create --zookeeper hadoop01,hadoop02,hadoop03:2181 --partitions 2 --rep...转载 2018-12-26 11:06:01 · 872 阅读 · 0 评论 -
使用tcpdump+Wireshark抓包分析kafka通信协议
tcpdump 是Linux平台上网络抓包、分析神器,wireshark可用在Windows上以可视化方式直接分析查看tcpdump抓取的数据文件。且wireshark内置支持很多常见应用协议解析,其中就包括kafka通信协议(Wireshark 2.4.0到2.6.0)。因此我们可以通过tcpdump抓取kafka数据包保存到文件,通过wireshark分析学习kafka通信协议交互。Wire...转载 2018-12-26 10:19:26 · 1245 阅读 · 1 评论 -
11. kafka重试机制解读
前面对kafka的学习中已经了解到KafkaProducer通过设定参数retries,如果发送消息到broker时抛出异常,且是允许重试的异常,那么就会最大重试retries参数指定的次数。本片文章主要分析几个问题: - 哪些异常可以重试 - 如何实现重试接下来通过分析一一解开这些问题的答案。1.哪些异常可以重试org.apache.kafka.clients.producer...转载 2018-12-24 16:38:57 · 2829 阅读 · 0 评论 -
排除kafka中的log4j
查看kafka源码可知其显示依赖了log4j,如下图: 但是我们的系统中都是使用的logback,那么如何排除掉它呢? 首先,找到依赖log4j的jar包把它排除掉,然后引入log4j-over-slf4j这个jar包即可。<dependency> <groupId>org.apache.kafka</groupId> ...转载 2018-11-12 17:38:32 · 1444 阅读 · 0 评论 -
Kafka_生产者、消费者、流API
生产者客户端API Properties props = new Properties(); props.put("bootstrap.servers", "192.168.6.187:9092,192.168.6.188:9092,192.168.6.229:9092"); props.put("acks", "all"); props.put("retries", 0); ...转载 2018-09-29 15:50:47 · 429 阅读 · 0 评论 -
Kafka消息序列化和反序列化(上)
Kafka Producer在发送消息时必须配置的参数为:bootstrap.servers、key.serializer、value.serializer。序列化操作是在拦截器(Interceptor)执行之后并且在分配分区(partitions)之前执行的。首先我们通过一段示例代码来看下普通情况下Kafka Producer如何编写:public class ProducerJava...转载 2018-09-29 15:19:32 · 1026 阅读 · 0 评论 -
kafka的一些常用命令
启动zookeeper如果该命令执行不成功,看是否当前进入kafka目录。bin/zookeeper-server-start.sh config/zookeeper.properties &启动kafkabin/kafka-server-start.sh config/server.properties &停止kafkabin/kafka-server-st...原创 2018-06-03 19:30:04 · 621 阅读 · 0 评论 -
kafka 创建topic,查看topic
创建创建kafka topicbin/kafka-topics.sh --create --topic topicname --replication-factor 1 --partitions 1 --zookeeper localhost:2181 方法一:执行linux命令:bin/kafka-topics.sh --create --topic topicname --rep...转载 2018-09-28 16:46:21 · 14898 阅读 · 1 评论 -
Kafka源码中的Producer Record定义
1.ProducerRecord 含义: 发送给Kafka Broker的key/value 值对 2.内部数据结构: – Topic (名字) – PartitionID ( 可选) – Key[( 可选 ) – Value 3.生产者记录(简称PR)的发送逻辑: <1> 若指定Partition ID,则PR被发送至指定Partition <2> 若未指...转载 2018-10-12 00:08:40 · 582 阅读 · 0 评论 -
Kafka命令行常用命令说明
基于0.8.0版本。##查看topic分布情况kafka-list-topic.shbin/kafka-list-topic.sh --zookeeper 192.168.197.170:2181,192.168.197.171:2181 (列出所有topic的分区情况)bin/kafka-list-topic.sh --zookeeper 192.168.197.170:2181,192.168...转载 2018-06-06 12:44:37 · 280 阅读 · 0 评论 -
ZkUtils 1.2.1版,一个zk开发中的工具方法集合
ZkUtils集合了zk中常用的一些工具方法,方便开发中的使用 1.2.1版没添加任何新的工具方法, 该版本主要改进:结合本人两年多的开发经验 给一些方法添加细致的注解,使用的同时了解其工作原理package org.zkway.common.util.web.zk; import java.io.IOException; import java.util.Date; impor...转载 2018-05-30 09:39:13 · 672 阅读 · 0 评论 -
Kafka 0.10 KafkaConsumer流程简述
ConsumerConfig.scala 储存Consumer的配置按照我的理解,0.10的Kafka没有专门的SimpleConsumer,仍然是沿用0.8版本的。1.从poll开始消费的规则如下:一个partition只能被同一个ConsumersGroup的一个线程所消费.线程数小于partition数,某些线程会消费多个partition.线程数等于partition数,一个线程正好消费一...转载 2018-05-23 23:35:10 · 357 阅读 · 0 评论 -
ConsumerRecord API
ConsumerRecord API用于从Kafka集群接收记录。 此API由主题名称,分区号(从中接收记录)和指向Kafka分区中的记录的偏移量组成。ConsumerRecord类用于创建具有特定主题名称,分区计数和< key,value>的消费者记录。 对。 它有以下签名。public ConsumerRecord(string topic,int partition, long ...转载 2018-05-23 23:18:54 · 9506 阅读 · 1 评论 -
springboot项目中集成kafka收发message。
1、先解决依赖springboot相关的依赖我们就不提了,和kafka相关的只依赖一个spring-kafka集成包<dependency> <groupId>org.springframework.kafka</groupId> <artifactId>spring-kafka</artifac...转载 2018-05-23 23:05:27 · 729 阅读 · 1 评论 -
Kafka Producer配置解读 2017-09-19 学习 文章目录 高 bootstrap.servers key.serializer value.serializer acks buff
高bootstrap.servers一组host和port用于初始化连接. 不管这里配置了多少台server, 都只是用作发现整个集群全部server信息. 这个配置不需要包含集群所有的机器信息. 但是最好多于一个, 以防服务器挂掉.key.serializer用来序列化key的Serializer接口的实现类.value.serializer用来序列化value的Serializer接口的实现类...转载 2018-06-03 13:08:26 · 3798 阅读 · 0 评论 -
Kafka生产者发送消息的三种方式
Kafka是一种分布式的基于发布/订阅的消息系统,它的高吞吐量、灵活的offset是其它消息系统所没有的。Kafka发送消息主要有三种方式:1.发送并忘记 2.同步发送 3.异步发送+回调函数下面以单节点的方式分别用三种方法发送1w条消息测试:方式一:发送并忘记(不关心消息是否正常到达,对返回结果不做任何判断处理)发送并忘记的方式本质上也是一种异步的方式,只是它不会获取消...转载 2019-03-19 23:56:08 · 3908 阅读 · 0 评论