- 博客(11)
- 资源 (13)
- 收藏
- 关注
原创 kafka-clients源码分析三:producer发送消息详解
一.发送消息时序图 二.核心字段 String clientId:该生产者的唯一标示 AtomicInteger PRODUCER_CLIENT_ID_SEQUENCE: clientId生成器 Partitioner: 分区选择器,根据一定策略将消息路由到合适的分区 int maxRequestSize: 消息的最大长度 long totalMemorySize: 发送单...
2019-08-05 20:23:00
540
原创 kafka-clients源码分析二:producer发送消息架构
1. ProducerIntercptor对消息进行拦截 2. Serialzer对key和value进行序列化 3. Partitioner对消息选择合适的分区 4. RecordAccumulator收集消息,实现批量发送 5. Sender从RecordAccumulator获取消息 6 构造ClientRequest 7 将ClientRequest交给Network,准备...
2019-08-05 20:21:59
225
原创 kafka-clients源码分析一:kafka 客户端通用配置参数详解
一下是客户端 producer和consumer公用的配置,其中:importance:high的是重要参数,重点关注
2019-08-02 15:29:25
832
原创 kafka producer配置
以下是JAVA生产者的配置(2.X版本及以上): NAME DESCRIPTION TYPE DEFAULT VALID VALUES IMPORTANCE bootstrap.servers 这是一个用于建立初始连接到kafka集群的"主机/端口对"配置列表。不论这个参数配置了哪些服务器来初始化连接,客户端都是会均衡地与集群中的所有服务器建立连接。...
2019-08-02 14:48:20
277
转载 基于 Kafka 和 ZooKeeper 的分布式消息队列原理
转载:https://gitbook.cn/books/5bc446269a9adf54c7ccb8bc/index.html 消息队列中间件是分布式系统中重要的组件,主要解决应用耦合,异步消息,流量削锋等问题。实现高性能,高可用,可伸缩和最终一致性架构,是大型分布式系统不可缺少的中间件。 关于分布式消息队列,我在几个月前写过一篇文章:《深入浅出理解基于 Kafka 和 ZooKeeper 的...
2019-07-29 16:07:57
262
原创 zookeeper安装for mac
说明:zookeeper版本最好不要下载最新版,因为最新版可能不稳定,启动的时候回报错,我一开始下载了最新版 启动报错,网上查各种资料未解决,为了不浪费时间,目前3.4.6版本比较稳定 一.下载zookeeper https://archive.apache.org/dist/zookeeper/ 二.修改配置文件 在“conf”目录下,新建一个名为“zoo.cfg”的文件,其中内容如下:...
2019-07-29 14:03:57
226
原创 kafka安装
Kafka控制脚本在Unix和Windows平台有所不同,在Windows平台,请使用bin\windows\而不是bin/, 并将脚本扩展名改为.bat Step 1: 下载代码 下载1.0.0版本并解压缩。. 1 2 > tar -xzf kafka_2.11-1.0.0.tgz > cd kafka_2.11-1...
2019-07-27 18:49:33
113
原创 kafka介绍
Apache Kafka® 是 一个分布式流处理平台 一.流处理平台有以下三种特性: 可以让你发布和订阅流式的记录。这一方面与消息队列或者企业消息系统类似。 可以储存流式的记录,并且有较好的容错性。 可以在流式记录产生时就进行处理。 二.它可以用于两大类别的应用: 构造实时流数据管道,它可以在系统或应用之间可靠地获取数据。 (相当于message queue) 构建实时流式应...
2019-07-27 16:32:19
129
原创 kafka初识
对于kafka的使用,我本人是2018年才开始使用,之前使用过activeMq以及在京东工作过程中使用过的jmq(京东自己封装的mq组件),发现mq的作用都是一样的,但是同一技术之间的最大区别就是原创作者做技术编写之初时,设计理念的不同,kafka流式处理和分区分片的思想,决定了它在高并发,高访问量的时候,能有很好的高可用,低延时的性能。由于发现网上对kafka相关的技术博客很多,以下几篇博客主要...
2019-07-27 16:17:31
97
原创 我的第一篇博客
我的第一篇博客 工作七八年以来,虽私人日志保存颇多,然博客未曾写过一篇,文档能力较弱;各种技术自学过一段时间,但都不精通,没有深度;今天发现技术是学不完,也不可能在工作中都使用的到,所以打算接下来,以写博客的形式总结工作几年过程中用到的技术,并更加对一些经典的技术进行深入的源码分析,因为技术很多思想是相通的,比如:kafka,elasticsearch,haddoop,zo...
2019-07-27 15:55:34
77
mysql-connector-net-6.5.4.msi
2012-05-07
空空如也
TA创建的收藏夹 TA关注的收藏夹
TA关注的人