![](https://img-blog.csdnimg.cn/20201014180756926.png?x-oss-process=image/resize,m_fixed,h_64,w_64)
kafka
假装自己不胖
这个作者很懒,什么都没留下…
展开
-
kafka之十一 监控
监控监控度量指标JMXkafka启动时要条件JMX_PORT=9999这一项JMX_PORT=9999 bin/kafka-server-start.sh config/server.properties开启之后再zookeeper的/brokers/ids/brokerId节点中会有对应的呈现JConsole开启KMX之后最简单就是使用JConsole,通过jcons...原创 2020-01-04 17:44:39 · 674 阅读 · 1 评论 -
kafka之十 高级应用
高级应用命令行工具消费组管理查看消费组bin/kafka-consumer-groups.sh --bootstrap-server localhost:9892 --list查看消费组详情bin/kafka-consumer-groups.sh --bootstrap-server localhost:9890 --describe --group groupName...原创 2020-01-04 15:55:04 · 377 阅读 · 0 评论 -
kafka之九 稳定性
稳定性kafka的消息传输机制很直观,如果生产者向broker发送消息,commit之后.会被存到副本里面,他就不会丢失了.如果在发送之后,网络出现问题,producer无法判断消息是否commit了,但是可以retry多次,直到确认已经在broker那commit.也就是至少一次,at least once幂等性对接口调用产生的结果和调用一次的是一致的,主要解决生产者在进行重试的时...原创 2020-01-04 11:54:57 · 1186 阅读 · 0 评论 -
kafka之八 存储结构
存储结构存储结构概述每一个partition相当于一个巨型文件被平均分配到多个大小相等segment数据文件里面每一段segment file消息数量不一定相等,这方方便old segment file高速被删除,默认1g每一个partition只要支持顺序读写即可,segment的生命周期有服务端配置参数决定segment文件的存储结构由index file和data file组...原创 2020-01-03 21:50:54 · 199 阅读 · 0 评论 -
kafka之七 分区
分区副本机制由于Producer和Consumer都只会和Leader角色的分区副本相连,所以kafka需要以集群的组织形式提供主题下的消息高可用,kafka支持主备复制,所以消息具备高可用和持久性一个分区可以有多个副本,保存在不同的broker上,每个分区的副本中都有一个作为leader,当一个broker失败时,leader在这台broker上的分区都会变得不可用,kafka会自动...原创 2020-01-03 21:24:13 · 124 阅读 · 0 评论 -
kafka之六 主题管理
主题管理创建主题localhost:2181 zookeeper所在的ip,zookeeper必传参数,多个zookeeper用,分开partitions:用于设置主题分区数,每个线程处理一个分区数据replication-factor:用于设置主题副本数,每个副本分布在不同节点,副本数不能超过节点数bin/kafka-topics.sh --zookeeper localh...原创 2020-01-03 16:59:55 · 195 阅读 · 0 评论 -
kafka之五 消费者
消费者消费组kafka消费组是消费组的一部分,当多个消费者形成一个消费组来消费主题时,每个消费者会受到不同分区的消息,假设有一个T1主题,该主题有4个分区,同时我们有一个消费组G1,这个消费组只有一个消费者C1,那么消费组C1将会受到这4个分区的消息特性之一:只需写入一次消息,可以支持任意多的应用读取这个消息kafkaConsumer参数bootstrap.servers:该参...原创 2020-01-03 16:30:31 · 274 阅读 · 0 评论 -
kafka之四 生产者详解
生产者详解发送类型同步发送 //通过send()发送完消息后返回一个Future对象,然后调用Future对象的get方法等待kafka响应 //如果kafka正常响应,返回一个RecordMetadate对象,该对象存储消息的偏移量 //如果kafka发生错误,无法正常响应,就会抛出异常,我们便可以进行异常处理 producer.send(recore).get();异步...原创 2020-01-02 20:33:28 · 310 阅读 · 0 评论 -
kafka之三 java连接kafka
java连接kafka添加依赖<dependency> <groupId>org.apache.kafka</groupId> <artifactId>kafka-clients</artifactId> <version>0.11.0.0</v...原创 2020-01-02 19:43:42 · 1315 阅读 · 0 评论 -
kafka之二 安装和启动基本命令
安装和启动基本命令安装jdk和zookeeper和kafka安装jdk,配置环境变量下载解压zookeeper之后,打开conf目录,将zoo_sample.cfg修改为zoo.cfg只需要修改dataDir和dataLofDir,配置数据目录和日志目录,端口也可以修改,clientPort启动Zookeeper命令bin/zkServer.sh start下载解压kafk...原创 2020-01-02 19:23:00 · 109 阅读 · 1 评论 -
kafka之基本概念
kafka基本概念Topic逻辑概念,同一个Topic的消息可以分布在不同的节点上(Broker)一个Topic包含一个或多个分区(Partition)每条消息都属于且一个TopicProducer发布数据时.必须指定将该消息发个那个TopicConsumer消费时,也要指定订阅哪个Topic的消息Partition物理概念,一个Partition只分布于一个Broke...原创 2020-01-02 18:47:53 · 258 阅读 · 0 评论