kafka
阿拉斯加大闸蟹
JDcloud;ByteDance;XueQiu;YiChe;CATARC
展开
-
kafka单元测试
kafka-junit:JUnit rule for spinning up a Kafka brokerkafka-junit:This library wraps Kafka's embedded test cluster, allowing you to more easily create and run integration tests using JUnit against a "real" kafka server running within the context of your t原创 2020-11-25 19:02:18 · 3181 阅读 · 0 评论 -
《kafka技术内幕》读书笔记
生产者部分ISR?leader维护的动态健康follower集合(我简称他们为太子)leader发生故障之后从ISR中选举新的leaderHW、LEO?HW高水位:consumer可见的数据LEO每个副本最后的offset值:leader发生故障之后,会将offset同步到HW,高于部分数据截掉(只能够保证数据的一致性,并不保证数据的丢失和重复问题)Exactly Once?At Least Once语义,ack=-1(enable.idompotence=true,<原创 2020-07-21 10:40:52 · 1939 阅读 · 0 评论 -
记一次线上kafka consumer不消费造成积压排查录
问题:BU的同学在使用kafka的过程中,发现自己的数据日志不符合预期,按照正常的处理流程应该会出现预期中的数据,由于代码没有变动,之前一直在线上运行,如下:try { Properties props = new Properties(); props.setProperty(ConsumerConfig.BOOTSTRAP_SERVERS_CONFIG, Consta...原创 2020-05-07 19:49:08 · 2778 阅读 · 0 评论 -
rabbitMQ服务内存占用大问题
问题:业务发现rabbitMQ的服务器出现内存出现无限增加,由SRE和业务同事提出:想增加下qos配置,prefetchCount来限制消费端无限制的接受消息 导致消费服务应用内存一直增加JVM现象:频繁gc,dump堆数据看发现4G的内存,有3G都是这样的对象rabbitMQ数据指标:unacked表示已经下发到消费端没有ack分析:之前提到过prefte...原创 2020-05-06 11:39:01 · 8194 阅读 · 0 评论 -
ConsumerConfig字典表
属性名 默认值 中文解释 group.id 无 唯一的指明了consumer的group的名字,group名一样的进程属于同一个consumer group。 zookeeper.connect 无 指定了ZooKeeper的connect string,以hostname:port的形式,hos...原创 2020-04-23 19:44:54 · 1585 阅读 · 0 评论 -
kafka-producer异地性能损耗
背景:在进行服务上云的时候发生了性能损耗问题,一步步从网络带宽问题、JDK版本问题、公网时延问题、CPU和内存问题走了很多弯路,最后才定位到kafka-producer,当然这也是由于业务排查过程中对于机房之间时延的几毫秒不重视造成问题:对服务本地机房和阿里云压测时,压测结果如下 星光机房 阿里云 ...原创 2020-02-12 17:18:37 · 1018 阅读 · 1 评论 -
sqlserver数据实时同步至kafka
在处理实时数据时,需要即时地获得 数据库 表中数据的变化,然后将数据变化发送到Kafka中。这篇文章将介绍如何使用Kafka Connector完成这一工作。当获取实时数据时,数据源需要支持对数据变化进行反馈。不同的数据源采用了不同的技术和方法实现该功能,因为我们的业务数据库是MS SQL Server,因此这篇文章采用MSQL作为数据源。调研ETL之增量抽取方式:https://ww...原创 2019-01-09 17:35:36 · 14003 阅读 · 9 评论 -
canal实现mysql实时数据binlog同步
原理相对比较简单:canal模拟mysql slave的交互协议,伪装自己为mysql slave,向mysql master发送dump协议 mysql master收到dump请求,开始推送binary log给slave(也就是canal) canal解析binary log对象(原始为byte流)基本说明canal 1.1.1版本之后, 默认支持将canal serve...原创 2019-01-09 17:50:11 · 22556 阅读 · 7 评论 -
spring kafka不常用的一些操作类代码
GitHub硬广:https://github.com/singgel/Spring-SkillTree的jms模块1.安装ActiveMQhttp://activemq.apache.org/安装:解压启动:cd “安装目录”./bin/activemq starthttp://localhost:8161/admin/index.jsp查看运行情况...原创 2018-10-26 16:49:42 · 761 阅读 · 0 评论 -
Kafka设计解析、背景及架构介绍
一、摘要Kafka是由LinkedIn开发并开源的分布式消息系统,因其分布式及高吞吐率而被广泛使用,现已与Cloudera Hadoop,Apache Storm,Apache Spark集成。本文介绍了Kafka的创建背景,设计目标,使用消息系统的优势以及目前流行的消息系统对比。并介绍了Kafka的架构,Producer消息路由,Consumer Group以及由其实现的不同消息分发方...原创 2017-12-04 13:38:52 · 493 阅读 · 0 评论 -
spring boot整合JMS(ActiveMQ实现)
https://github.com/singgel/MQ-SkillTree一、安装ActiveMQhttps://download.csdn.net/download/singgel/10711564二、新建spring boot工程,并加入JMS(ActiveMQ)依赖 三、工程结构 pom依赖如下:<?xml version="1.0" en...原创 2017-10-18 16:59:42 · 819 阅读 · 0 评论 -
ActiveMQ不同模式下的区别,代码讲解
http://activemq.apache.org/安装:解压启动:cd “安装目录”./bin/activemq starthttp://localhost:8161/admin/index.jsp查看运行情况安装完毕之后,直接下载我的github上的代码就可以玩了:https://github.com/singgel/MQ-SkillTree在实际项目中,很多时候需要...原创 2017-10-24 08:32:14 · 722 阅读 · 0 评论