【大数据，帮你深度探寻Spring循环依赖源码实现

• SMP ：对称多处理器结构

• NUMA： 非一致性存储访问结构

• MPP 海量并行处理结构

1. SMP (Symmetric Multi-processor)

称多处理器结构，是指服务器中多个CPU对称工作，无主次或从属关系。各CPU共享相同的物理内存，每个 CPU访问内存中的任何地址所需时间是相同的，对SMP服务器进行扩展的方式包括增加内存、使用更快的CPU、增加CPU、扩充I/O或者添加磁盘存储

SMP 的CPU利用率最好的情况是2-4个CPU

2. NUMA(Non-Uniform Memory Access)

由于SMP在扩展能力上的限制，人们开始探究如何进行有效地扩展从而构建大型系统的技术，NUMA就是这种努力下的结果之一。利用NUMA技术，可以把几十个CPU(甚至上百个CPU)组合在一个服务器内

NUMA使用cpu模块，每个cpu模块通常由4个组成，并且有独立的本地内存及IO槽口，使性能更佳。 但缺点是访问远地内存所造成的延迟远远大于本地内存，增加CPU，并不能线性增加系统性能。

3. MPP (Massive Parallel Processing)

MPP 由多个SMP服务器通过一定的节点互联网络进行连接，协同工作，完成相同的任务，从用户的角度来看是一个服务器系统

目前的技术可实现512个节点互联，数千个CPU ，每个节点都可以运行自己的操作系统和数据库。

数据处理系统架构的演进

SMP --SMP+MPP混合 --MPP – hadoop

大数据时代需要关注的几个点：

• 容量： 海量数据不可能单机存储，为确保数据稳定和安全，还需要存多个副本，所以需要分布式存储

• 性能： 数据量大，单机很难完成单独运算，只能使用分而治之的思想，大量的计算节点来分担运算量

• 成本： 使用分布式系统，可以使用通用硬件来解决线性扩展，同时性能接近线性提升。

大数据运维工作职责

• 集群管理： hadoop,hbase ,spark kafak,redis

• 故障处理： 商用硬件故障及其他故障

• 变更处理，配置管理和发布管理

• 容量管理： 存储空间，运行链接数等

• 性能调优： 不同的组件，性能的概念不一样，比如kafka注重的是吞吐量，hbase注重实时性可用性。

• 架构优化： 优化大数据平台架构，支持平台能力和产品的不断迭代

大数据运维需要的能力

1. 硬件，OS，网络，安全等相关知识

2. 脚本能力： SHELL ，sql ，python，go

3. 大数据组件知识： 设计思想，适用范围，底层架构，常用命令，常用配置或者参数，常见问题处理方法

4. 工具能力： zabbix，ELK，企业自己研发的工具

小编13年上海交大毕业，曾经在小公司待过，也去过华为、OPPO等大厂，18年进入阿里一直到现在。

深知大多数初中级Java工程师，想要提升技能，往往是自己摸索成长，但自己不成体系的自学效果低效又漫长，而且极易碰到天花板技术停滞不前！

因此收集整理了一份《2024年最新Java开发全套学习资料》送给大家，初衷也很简单，就是希望能够帮助到想自学提升又不知道该从何学起的朋友，同时减轻大家的负担。

由于文件比较大，这里只是将部分目录截图出来，每个节点里面都包含大厂面经、学习笔记、源码讲义、实战项目、讲解视频

如果你觉得这些内容对你有帮助，可以添加下面V无偿领取！（备注Java）

大厂面经、学习笔记、源码讲义、实战项目、讲解视频**

如果你觉得这些内容对你有帮助，可以添加下面V无偿领取！（备注Java）
[外链图片转存中…(img-pSPpUxeK-1710851252811)]