![](https://img-blog.csdnimg.cn/20201014180756922.png?x-oss-process=image/resize,m_fixed,h_64,w_64)
kafka
能量守恒洛
这个作者很懒,什么都没留下…
展开
-
kafka 消息服务
apache kafka参考http://kafka.apache.org/documentation.html消息队列方式:点对点:消息生产者生产消息发送到queue中,然后消息消费者从queue中取出并且消费消息。这里要注意:消息被消费以后,queue中不再有存储,所以消息消费者不可能消费到已经被消费的消息。Queue支持存在多个消费者,但是对一个消息而言,只会转载 2016-06-16 17:05:04 · 728 阅读 · 0 评论 -
kafka源码分析之副本管理-ReplicaManager
原文地址:https://blog.csdn.net/u014393917/article/details/52043040ReplicaManager说明,此组件用于管理kafka中各partition的副本信息.,实例依赖于kafkaScheduler与logManager的实例.并处理对消息的添加与读取的操作.副本间数据的同步等操作。实例创建与启动实例创建replicaM...转载 2018-09-05 10:54:38 · 543 阅读 · 0 评论 -
kafka源码解析之九ReplicaManager
原文地址:https://blog.csdn.net/wl044090432/article/details/51035614首先解释下2个名词:AR(assignreplicas):分配副本 ISR(in-sync replicas):在同步中的副本,即下图: Partition { topic : string //topic名称 pa...转载 2018-09-04 17:28:15 · 696 阅读 · 0 评论 -
Kafka系列之-Kafka监控工具KafkaOffsetMonitor配置及使用
原文地址: https://blog.csdn.net/dabokele/article/details/52373960KafkaOffsetMonitor是一个可以用于监控Kafka的Topic及Consumer消费状况的工具,其配置和使用特别的方便。源项目Github地址为:https://github.com/quantifind/KafkaOffsetMonitor。 最简单的使用方...转载 2018-07-10 10:33:26 · 849 阅读 · 0 评论 -
在Kafka中修改Topic的preferred replica
目前我们的topic test-add-replication-topic中partition 0的replicas为[1,2],则1为preferred replica,应该成为leader。 这时我们期望2为preferred replica,并变成leader。操作步骤:1. 查看当前topic详细信息: > bin/kafka-topics.sh --describe --zoo...转载 2018-05-15 15:34:29 · 1212 阅读 · 1 评论 -
Kafka集群无法外网访问问题解决攻略
Kafka集群无法外网访问问题解决方法 讲解本地Consumer和Producer无法使用远程Kafka服务器的处理办法服务搭建好kafka服务后,本机测试ok,外面机器却无法访问,很是怪异。环境说明: kafka服务器: 阿里云VPC网络服务器,内网ip:10.10.10.10,绑定的弹性ip(外网ip)x.x.x.x,是单机测试环境,zk和kafka都在一台机器上,使用默认转载 2017-05-10 10:09:48 · 9948 阅读 · 2 评论 -
kafka 命令使用说明
创建topic maxmessagetest ./kafka-topics.sh --create --zookeeper localhost:2181 --replication-factor 2 --partitions 8 --topic maxmessagetest集群zookeeper 创建队列./kafka-topics.sh --zookeeperzk-serve原创 2017-04-27 09:50:04 · 2425 阅读 · 0 评论 -
Kafka学习整理三(borker(0.9.0及0.10.0)配置)
原文地址:http://blog.csdn.net/louisliaoxh/article/details/51516084Kafka日志本身是由多个日志段组成(log segment)。一个日志是一个FileMessageSet,它包含了日志数据以及OffsetIndex对象,该对象使用位移来读取日志数据 * borker配置就是指配置server.properties文件 *转载 2016-12-15 16:39:44 · 415 阅读 · 0 评论 -
Kafka 消息监控 - Kafka Eagle
1.概述 在开发工作当中,消费 Kafka 集群中的消息时,数据的变动是我们所关心的,当业务并不复杂的前提下,我们可以使用 Kafka 提供的命令工具,配合 Zookeeper 客户端工具,可以很方便的完成我们的工作。随着业务的复杂化,Group 和 Topic 的增加,此时我们使用 Kafka 提供的命令工具,已预感到力不从心,这时候 Kafka 的监控系统此刻便尤为显得重要,我们需要转载 2016-11-28 15:01:28 · 4056 阅读 · 0 评论 -
Kafka重启出错:Corrupt index found,
Kafka进程被强制退出(kill -9)后重启,碰到如下问题:FATAL Fatal error during KafkaServerStable startup. Prepare to shutdown (kafka.server.KafkaServerStartable)Java.lang.IllegalArgumentException: requirement failed: C转载 2016-12-08 19:07:17 · 1317 阅读 · 0 评论 -
Kafka源码分析-序列6 -Consumer -消费策略分析
目录(?)[-]Consumer的非线程安全Consumer Group 负载均衡模式 vs PubSub模式Partition 自动分配 vs 手动指定消费确认 - consume offset vs committed offsetExactly Once 自己保存offset从这一篇开始,我们将进入Consumer的分析。同Producer一样, Cons转载 2016-10-27 14:12:07 · 1352 阅读 · 0 评论 -
kafka connector commit 失败
1. 上栈[2016-07-01 15:58:55,889] ERROR Commit of Thread[WorkerSinkTask-beaver_http_response-connector-0,5,main] offsets threw an unexpected exception: (org.apache.kafka.connect.runtime.WorkerSinkTask转载 2016-10-26 09:45:29 · 2319 阅读 · 0 评论 -
kafka性能参数和压力测试揭秘
原文地址:http://blog.csdn.net/stark_summer/article/details/50203133上一篇文章介绍了Kafka在设计上是如何来保证高时效、大吞吐量的,主要的内容集中在底层原理和架构上,属于理论知识范畴。这次我们站在应用和运维的角度,聊一聊集群到位后要怎么才能最好的配置参数和进行测试性能。Kafka的配置详尽且复杂,想要进行全面的性能调优需要掌握大量转载 2016-07-04 15:00:27 · 3027 阅读 · 0 评论 -
kafka文档(3)---- 配置选项翻译
原文地址:http://blog.csdn.net/beitiandijun/article/details/405825413. ConfigurationKafka在配置文件中使用key-value方式进行属性配置。这些values可以通过文件或者编程方式提供。3.1 Broker Configs基本配转载 2016-07-04 13:48:12 · 658 阅读 · 0 评论 -
kafka集群搭建和使用Java写kafka生产者消费者
原文地址:http://chengjianxiaoxue.iteye.com/blog/2190488 kafka集群搭建 Java代码 1.zookeeper集群 搭建在110, 111,112 2.kafka使用3个节点110, 111,112 修改配置文件config/server.properties broker.转载 2016-06-17 16:07:57 · 944 阅读 · 0 评论 -
Kafka深度解析,众人推荐,精彩好文!
Kafka简介Kafka是一种分布式的,基于发布/订阅的消息系统。主要设计目标如下:以时间复杂度为O(1)的方式提供消息持久化能力,并保证即使对TB级以上数据也能保证常数时间的访问性能高吞吐率。即使在非常廉价的商用机器上也能做到单机支持每秒100K条消息的传输支持Kafka Server间的消息分区,及分布式消息消费,同时保证每个partition内的消息顺序传输同时支持离线数据处转载 2016-06-17 16:05:13 · 577 阅读 · 0 评论 -
auto.offset.reset 说明
Kafka的consumer是以pull的形式获取消息数据的,consumer提供两种版本,即high level 和low level API。1 consumer和partition1)如果consumer比partition多,是浪费,因为kafka的设计是在一个partition上是不允许并发的,所以consumer数不要大于partition数 2)如果consume转载 2016-07-25 15:11:24 · 31193 阅读 · 0 评论 -
kafka支持大数据传输
kafka对于消息体的大小默认为单条最大值是1M. 但是在我们应用场景中, 常常会出现一条消息大于1M, 如果不对kafka进行配置. 则会出现生产者无法将消息推送到kafka或消费者无法去消费kafka里面的数据, 这时我们就要对kafka进行以下配置:kafka_2.11-0.9.0.0/config/server.propertiesProducer的参数中添加:max.requ...原创 2019-03-26 10:13:31 · 3451 阅读 · 0 评论