message middleware
文章平均质量分 97
HeathXian
嵌入式 分布式后端 网络安全 主机安全
展开
-
Kafka突发rebalance
Kafka 是我们最常用的消息队列,它那几万、甚至几十万的处理速度让我们为之欣喜若狂。但是随着使用场景的增加,我们遇到的问题也越来越多,其中一个经常遇到的问题就是:rebalance(重平衡)问题。什么是消费组要想了解 rebalance,那就得先了解消费组(consumer group)。消费组指的是多个消费者(consumer)组成起来的一个组,它们共同消费 topic 的所有消息,并且一个 topic 的一个 partition 只能被一个 consumer 消费。Kafka 为消费者转载 2020-12-29 15:53:55 · 643 阅读 · 0 评论 -
Kafka 消费者组 Rebalance
Rebalance作用Rebalance 本质上是一种协议,主要作用是为了保证消费者组(Consumer Group)下的所有消费者(Consumer)消费的主体分区达成均衡。比如:我们有10个分区,当我们有一个消费者时,该消费者消费10个分区,当我们增加一个消费者,理论上每个消费者消费5个分区,这个分配的过程我们成为Rebalance(重平衡)触发条件常见的有三种情况会触发Rebalance:组成员数发生变更 订阅主题数发生变更 订阅主题的分区数发生变更缺点Reb..转载 2020-12-29 15:50:37 · 1068 阅读 · 2 评论 -
kafka常用查询命令
查询kafka中的主题$/opt/kafka_2.10-0.9.0.1/bin/kafka-topics.sh --list --zookeeper 192.168.6.134:2181$monitor消费主题"monitor"$/opt/kafka_2.10-0.9.0.1/bin/kafka-console-consumer.sh --zookeeper 192.168.6....原创 2020-03-11 14:36:41 · 1443 阅读 · 0 评论 -
jcache
官网:https://jcp.org/en/jsr/detail?id=1071. 简介JSR 107:JCache,JSR是Java Specification Requests的缩写,顾名思议就是JAVA规范第107。Jcache详细名称是Java Temporary Caching API, Java临时缓存API。具体作用是对Java的临时缓存(比如存放在内存中)的操作进行规范,包括缓...转载 2020-03-09 17:41:38 · 522 阅读 · 0 评论 -
zmq pub-sub通信之ipc双向主题
zmq pub-sub, push-pull模式没有客服端服务端启动先后顺序的限制,与普通的socket通信不一样,必须先启动服务端。以下是测试程序,pub.py为服务端,sub.py客户端。pub.py# coding: utf-8import zmqimport timeimport threadingimport osimport stat# 分类后的日志的zm...原创 2020-02-27 16:53:01 · 1446 阅读 · 0 评论 -
kafka cpu占用高
一、当前配置Flink:版本1.4Flink-Kafka-Connector:0.10.xKafka-Brokers:3个Topic-Partitoins:3个Topic-Replication:2个二、现象描述Flink通过Kafka-Connector连接Kafka消费数据,当Kafka异常,Broker节点不可用时,Kafka的Consumer线程会把Flink进...转载 2020-01-09 23:30:26 · 7354 阅读 · 0 评论 -
kafka生产者消费者demo
一、kafka简介kafka特性:(1) 通过磁盘数据结构提供消息的持久化,这种结构对于即使数以TB的消息存储也能够保持长时间的稳定性能.(2) 高吞吐量 :即使是非常普通的硬件Kafka也可以支持每秒数百万的消息.(3) 支持通过Kafka服务器和消费机集群来分区消息.(4) 支持Hadoop并行数据加载.术语:Broker: Kafka集群包含一个或多个服务器,这种服...转载 2020-01-09 23:21:58 · 340 阅读 · 0 评论 -
zmq ipc方式进程间通信ipc文件被占用问题
测试步骤1.启动pub.py -> 启动sub.py -> sub.py可以收到数据,注意这个时候由于pub.py,sub.py是ipc通讯,会产生ipc通信文件。假如ipc文件为 file.ipc2.分别ctrl + z 退出pub.py sub.py, 注意这个时候提示的stoped已经停止。3.启动sub.py -> 启动pub.py ->...原创 2020-01-09 00:09:19 · 989 阅读 · 0 评论 -
zmq丢消息
问题:先启动客户端,后启动服务端,为什么还是客户端还是没有收到第一条消息?分析:就算先启动客户端,服务端pub出去的一些消息也还是可能没有被收到,因为你启动服务端时,服务端与客户端要建立连接,而这个时候,消息其实已经发出去了,所以你没收到。解决方案:服务端绑定套接字后会等待200毫秒,以避免订阅者连接延迟而丢失数据的问题。比较好的解决方案还是要用相关模型来解决这一点。参考文...原创 2020-01-02 18:01:15 · 1084 阅读 · 0 评论 -
kafka partition(分区)与 group
1、原理图2、原理描述一个topic 可以配置几个partition,produce发送的消息分发到不同的partition中,consumer接受数据的时候是按照group来接受,kafka确保每个partition只能同一个group中的同一个consumer消费,如果想要重复消费,那么需要其他的组来消费。Zookeerper中保存这每个topic下的每个partition在每个g...转载 2019-12-16 19:10:10 · 519 阅读 · 0 评论 -
kafka 讲解
简介kafka是一个分布式消息队列。具有高性能、持久化、多副本备份、横向扩展能力。生产者往队列里写消息,消费者从队列里取消息进行业务逻辑。一般在架构设计中起到解耦、削峰、异步处理的作用。kafka对外使用topic的概念,生产者往topic里写消息,消费者从读消息。为了做到水平扩展,一个topic实际是由多个partition组成的,遇到瓶颈时,可以通过增加partition的数量来进行横...转载 2019-12-18 18:46:04 · 186 阅读 · 0 评论 -
zmq pub-sub通信之tcp:端口号
zmq订阅/发布模式server端代码: 1 2 3 4 5 6 7 8 9 10 11 12 13 14 15 16 17 #coding=utf-8 ''''' 服务端,发布模式 ''' impo...转载 2020-01-02 14:15:16 · 1770 阅读 · 0 评论