![](https://img-blog.csdnimg.cn/20201014180756927.png?x-oss-process=image/resize,m_fixed,h_64,w_64)
Kafka
说出你的愿望吧丷
公众号:说出你的愿望吧
展开
-
Kafka源码篇 --- 可能是你看过最详细的RecordAccumulator解读
前言我们上一篇的时候说了这篇会把Kafka的网络模型给梳理一下,这个和 NIO 的那篇关系就非常非常大了,所以如果对这块不了解的朋友可以跳转过去瞧瞧,起码对你理解起来会有一定的帮助那我们就接着上一篇的流程继续,标题中的RecordAccumulator很快就讲到回顾上一讲 Kafka 拉取元数据的流程上一讲我们虽然码了大概有7600多字,可是其实根本就没跳出第一步,所以这东西真的工程量挺大...原创 2020-02-23 02:20:20 · 349 阅读 · 0 评论 -
插曲:大白话带你认识Kafka
前言应大部分的小伙伴的要求,在Yarn之前先来一个kafka的小插曲,轻松愉快。一、Kafka基础消息系统的作用应该大部份小伙伴都清楚,用机油装箱举个例子所以消息系统就是如上图我们所说的仓库,能在中间过程作为缓存,并且实现解耦合的作用。引入一个场景,我们知道中国移动,中国联通,中国电信的日志处理,是交给外包去做大数据分析的,假设现在它们的日志都交给了你做的系统去做用户画像分析。按...原创 2020-01-06 20:11:30 · 275 阅读 · 2 评论 -
插曲:Kafka的集群部署实践及运维相关
前言上一篇 Kafka 的文章 — 插曲:大白话带你认识Kafka 中我们应该已经了解了一些关于基础角色和集群架构相关的问题,这时候我们应该很想了解一下如何构建生产中的Kafka集群或者一些相关的运维工具,所以就应运而生了下文,配图基本没有,一、Kafka的生产集群部署1.1 方案背景假设每天集群需要承载10亿数据。一天24小时,晚上12点到凌晨8点几乎没多少数据。使用二八法则估计,也就...原创 2020-01-06 20:10:36 · 150 阅读 · 0 评论 -
插曲:Kafka的生产者原理及重要参数说明
前言本来插曲系列是应大家要求去更新的,但是好像第一篇的kafka效果还可以所以更插曲就勤快些了(毕竟谁不想看着自己被多多点赞呢hhh????),上一篇说了一个案例是为了说明如何去考量一个kafka集群的部署,算是一个参考吧,毕竟大家在不同的公司工作肯定也会有自己的一套实施方案。这次我们再回到原理性的问题,这次会延续第一篇的风格,带领大家把图一步一步画出来。轻松愉快一、Kafka的Producer原...原创 2020-01-06 20:09:53 · 220 阅读 · 0 评论 -
插曲:Kafka的生产者案例和消费者原理解析
前言······一、Kafka的Producer小案例假设我们现在有一个电商系统,凡是能登录系统的用户都是会员,会员的价值体现在,消费了多少钱,就会累计相应的积分。积分可以兑换礼品包,优惠券···等等。又到了我们的画图时间????。首先我们得先来一个订单系统,那这个订单系统中肯定就会有数据日志产生,它现在就是把这些日志写到Kafka里面,日志我们使用json的方式记录。图中的statement表...原创 2020-01-06 20:09:04 · 413 阅读 · 0 评论 -
插曲:Kafka的运行流程总结和源码前准备
前言虽然这是一个源码的预热篇同样这也是插曲篇的一个总结,我们从一开始的集群的各个角色,到集群的设计,到网络模型,到生产者,消费者都已经提了个遍。这一篇会把最后的一个内核提一下,然后对以往的概念三篇做一个总结,把流程梳理一下,增加记忆的同时,也让后面的源码变得更加轻松愉快,好的这是最后一次鸽了????。以往链接概念①:插曲:大白话带你认识Kafka实践的:插曲:Kafka的集群部署实践及运维相关...原创 2020-01-06 20:07:12 · 218 阅读 · 0 评论 -
Kafka源码篇 --- 小白也能看懂的Producer的初始化及元数据获取流程
前言如果是第一次看到这篇的,建议先去补一下以往的5篇基础,会对你理解起来有很大帮助哦插曲:大白话带你认识Kafka插曲:Kafka的生产者原理及重要参数说明插曲:Kafka的生产者案例和消费者原理解析插曲:Kafka的运行流程总结和源码前准备Kafka源码预热篇--- Java NIO从上一年开始鸽了好久的源码篇,终于也是给整了一下。其实一方面也是,怕自己整理不好,看的云里雾里,那也...原创 2020-01-06 20:06:10 · 729 阅读 · 1 评论