![](https://img-blog.csdnimg.cn/20201014180756757.png?x-oss-process=image/resize,m_fixed,h_64,w_64)
大数据
文章平均质量分 68
xiaofj100
12年网安行业工作,自动化测试,性能测试,渗透测试,5年技术管理人
展开
-
大数据技术生态体系
大数据生态技术体系原创 2024-09-03 15:39:00 · 409 阅读 · 0 评论 -
spark入门
Spark是一种快速、通用、可扩展的大数据分析引擎,其核心优势在于内存计算和高效的数据处理能力。Spark是在Hadoop基础上的改进,是UC Berkeley AMP lab所开源的类Hadoop MapReduce的通用并行计算框架,Spark基于map reduce算法实现的分布式计算,拥有Hadoop MapReduce所具有的优点;原创 2024-09-03 15:09:42 · 790 阅读 · 0 评论 -
zookeeper是啥?在kafka中有什么作用
ZooKeeper最初由雅虎研究院开发,用于解决大型分布式系统中的协调问题,特别是为了避免分布式单点故障。它被设计成一个简单易用的接口集,封装了复杂的分布式一致性协议。这使得开发者可以更专注于业务逻辑,而不是底层的协调和同步问题。zooKeeper 是用于维护配置信息,命名,提供分布式同步和提供组服务的集中式服务。所有这些类型的服务都以某种形式被分布式应用程序使用。每次实施它们时,都会进行很多工作来修复不可避免的 bug 和竞争条件。原创 2024-09-03 14:09:01 · 350 阅读 · 0 评论 -
kafka是什么?
副本是在分区层级下的,即每个分区可配置多个副本实现高可用。一个topic对应多个分区,分区物理分布在broker集群上,每个分区有一个leader分区和0或多个follower分区,其中leader分区可以读写,follower分区只定期拉去leader分区的内容做备份,leader分区挂了follow分区顶上。以图中为例:假定一个主题有3个分区0,1,2,分布在3个broker上,不同生产者都可以往同一topic中发消息,然后消息分别放入不同分区存储;一个有序不变的消息序列,每个主题下可以有多个分区。原创 2024-08-30 19:56:47 · 362 阅读 · 0 评论