yuxianhui66的博客

原创 kafka-clients源码分析三：producer发送消息详解

一.发送消息时序图 二.核心字段 String clientId：该生产者的唯一标示 AtomicInteger PRODUCER_CLIENT_ID_SEQUENCE: clientId生成器 Partitioner: 分区选择器，根据一定策略将消息路由到合适的分区 int maxRequestSize: 消息的最大长度 long totalMemorySize: 发送单...

原创 kafka-clients源码分析二：producer发送消息架构

1. ProducerIntercptor对消息进行拦截 2. Serialzer对key和value进行序列化 3. Partitioner对消息选择合适的分区 4. RecordAccumulator收集消息，实现批量发送 5. Sender从RecordAccumulator获取消息 6 构造ClientRequest 7 将ClientRequest交给Network,准备...

原创 kafka-clients源码分析一：producer配置参数详解

原创 kafka-clients源码分析一：kafka 客户端通用配置参数详解

一下是客户端 producer和consumer公用的配置，其中：importance:high的是重要参数，重点关注

原创 kafka producer配置

以下是JAVA生产者的配置（2.X版本及以上）： NAME DESCRIPTION TYPE DEFAULT VALID VALUES IMPORTANCE bootstrap.servers 这是一个用于建立初始连接到kafka集群的"主机/端口对"配置列表。不论这个参数配置了哪些服务器来初始化连接，客户端都是会均衡地与集群中的所有服务器建立连接。...

转载 基于 Kafka 和 ZooKeeper 的分布式消息队列原理

转载：https://gitbook.cn/books/5bc446269a9adf54c7ccb8bc/index.html 消息队列中间件是分布式系统中重要的组件，主要解决应用耦合，异步消息，流量削锋等问题。实现高性能，高可用，可伸缩和最终一致性架构，是大型分布式系统不可缺少的中间件。 关于分布式消息队列，我在几个月前写过一篇文章：《深入浅出理解基于 Kafka 和 ZooKeeper 的...

原创 zookeeper安装for mac

说明：zookeeper版本最好不要下载最新版，因为最新版可能不稳定，启动的时候回报错，我一开始下载了最新版 启动报错，网上查各种资料未解决，为了不浪费时间，目前3.4.6版本比较稳定 一.下载zookeeper https://archive.apache.org/dist/zookeeper/ 二.修改配置文件 在“conf”目录下，新建一个名为“zoo.cfg”的文件，其中内容如下:...

原创 kafka安装

Kafka控制脚本在Unix和Windows平台有所不同，在Windows平台，请使用bin\windows\而不是bin/, 并将脚本扩展名改为.bat Step 1: 下载代码 下载1.0.0版本并解压缩。. 1 2 > tar -xzf kafka_2.11-1.0.0.tgz > cd kafka_2.11-1...

原创 kafka介绍

Apache Kafka® 是 一个分布式流处理平台 一.流处理平台有以下三种特性: 可以让你发布和订阅流式的记录。这一方面与消息队列或者企业消息系统类似。 可以储存流式的记录，并且有较好的容错性。 可以在流式记录产生时就进行处理。 二.它可以用于两大类别的应用: 构造实时流数据管道，它可以在系统或应用之间可靠地获取数据。 (相当于message queue) 构建实时流式应...

原创 kafka初识

对于kafka的使用，我本人是2018年才开始使用，之前使用过activeMq以及在京东工作过程中使用过的jmq(京东自己封装的mq组件),发现mq的作用都是一样的，但是同一技术之间的最大区别就是原创作者做技术编写之初时，设计理念的不同，kafka流式处理和分区分片的思想，决定了它在高并发，高访问量的时候，能有很好的高可用，低延时的性能。由于发现网上对kafka相关的技术博客很多，以下几篇博客主要...

原创 我的第一篇博客

我的第一篇博客 工作七八年以来，虽私人日志保存颇多，然博客未曾写过一篇，文档能力较弱；各种技术自学过一段时间，但都不精通，没有深度；今天发现技术是学不完，也不可能在工作中都使用的到，所以打算接下来，以写博客的形式总结工作几年过程中用到的技术，并更加对一些经典的技术进行深入的源码分析，因为技术很多思想是相通的，比如：kafka,elasticsearch,haddoop,zo...