![](https://img-blog.csdnimg.cn/20201014180756754.png?x-oss-process=image/resize,m_fixed,h_64,w_64)
kafka教程1222
m0_38072563
这个作者很懒,什么都没留下…
展开
-
03 Kafka 原理介绍
flume:海量日志采集工具。缺点:1.数据主要保存在内存,容易丢失,2.不容易添加消费者,3.使用sink推送模式改善:1.把数据保存成文件,但性能可能会低,并设置数据的生命周期;2.当数据量过大时,需要添加服务器,就需要使用负载均衡器或者注册中心(协调调度中心);kafka通过hashmap计算hash值,然后做15位的位运算来确定索引,做完位运算的值范围是0~15,所以,hashmap数组的默认长度是16,减一得到15,hashmap在扩容的时候一定要是2的n次方,因.原创 2020-12-24 12:08:35 · 67 阅读 · 0 评论 -
02 Kafka 分布式原理 系统
负载均衡器不需要写业务逻辑,所以运行很快,但是访问量大时仍可能崩溃,因为压力都在负载均衡器上。负载均衡器分配的请求还需要等待请求相应之后,再通过负载均衡器返回给调用方。(服务器端的负载均衡)使用注册中心时,请求先访问注册中心(zookeeper),拿到所需要的服务器的地址,然后自己通过轮询分配请求,然后去直接访问所需要的服务器并得到结果(客户端的负载均衡)。分两步走,压力会显著下降。OCP开发原则:“开放-封闭”(Open-Close Principle,OCP)原则。...原创 2020-12-23 16:45:33 · 94 阅读 · 0 评论 -
01 Kafka 分布式原理 集群
jvm内存分为三个区域,方法区 存类的信息,堆 用来做存储,栈 用来做运行,所以main方法从栈开始执行,创建一个栈帧,new 一个类的时候栈会参考方法区中类的属性在堆里面创建类,方法区的东西也称为类模板jvm里面,每个线程都会有一个栈空间,所以当请求(线程)过多时,内存就会不足,没有多余的内存分配栈空间,就会出现栈内存溢出。当添加机器做相同的服务时,需要添加负载均衡器,来调度请求。创建连接资源消耗会很大,所以创建数据库链接的消耗很大,使用完要释放,同时最好使用..原创 2020-12-23 16:36:40 · 96 阅读 · 0 评论