-
SMP :对称多处理器结构
-
NUMA: 非一致性存储访问结构
-
MPP 海量并行处理结构
1. SMP (Symmetric Multi-processor)
称多处理器结构,是指服务器中多个CPU对称工作,无主次或从属关系。各CPU共享相同的物理内存,每个 CPU访问内存中的任何地址所需时间是相同的,对SMP服务器进行扩展的方式包括增加内存、使用更快的CPU、增加CPU、扩充I/O或者添加磁盘存储
SMP 的CPU利用率最好的情况是2-4个CPU
2. NUMA(Non-Uniform Memory Access)
由于SMP在扩展能力上的限制,人们开始探究如何进行有效地扩展从而构建大型系统的技术,NUMA就是这种努力下的结果之一。利用NUMA技术,可以把几十个CPU(甚至上百个CPU)组合在一个服务器内
NUMA使用cpu模块,每个cpu模块通常由4个组成,并且有独立的本地内存及IO槽口,使性能更佳。 但缺点是访问远地内存所造成的延迟远远大于本地内存,增加CPU,并不能线性增加系统性能。
3. MPP (Massive Parallel Processing)
MPP 由多个SMP服务器通过一定的节点互联网络进行连接,协同工作,完成相同的任务,从用户的角度来看是一个服务器系统
目前的技术可实现512个节点互联,数千个CPU ,每个节点都可以运行自己的操作系统和数据库。
数据处理系统架构的演进
SMP --SMP+MPP混合 --MPP – hadoop
大数据时代需要关注的几个点:
-
容量: 海量数据不可能单机存储,为确保数据稳定和安全,还需要存多个副本,所以需要分布式存储
-
性能: 数据量大,单机很难完成单独运算,只能使用分而治之的思想,大量的计算节点来分担运算量
-
成本: 使用分布式系统,可以使用通用硬件来解决线性扩展,同时性能接近线性提升。
大数据运维工作职责
-
集群管理: hadoop,hbase ,spark kafak,redis
-
故障处理: 商用硬件故障及其他故障
-
变更处理,配置管理和发布管理
-
容量管理: 存储空间,运行链接数等
-
性能调优: 不同的组件,性能的概念不一样,比如kafka注重的是吞吐量,hbase注重实时性可用性。
-
架构优化: 优化大数据平台架构,支持平台能力和产品的不断迭代
大数据运维需要的能力
-
硬件,OS,网络,安全等相关知识
-
脚本能力: SHELL ,sql ,python,go
-
大数据组件知识: 设计思想,适用范围,底层架构,常用命令,常用配置或者参数,常见问题处理方法
-
工具能力: zabbix,ELK,企业自己研发的工具
小编13年上海交大毕业,曾经在小公司待过,也去过华为、OPPO等大厂,18年进入阿里一直到现在。
深知大多数初中级Java工程师,想要提升技能,往往是自己摸索成长,但自己不成体系的自学效果低效又漫长,而且极易碰到天花板技术停滞不前!
因此收集整理了一份《2024年最新Java开发全套学习资料》送给大家,初衷也很简单,就是希望能够帮助到想自学提升又不知道该从何学起的朋友,同时减轻大家的负担。
由于文件比较大,这里只是将部分目录截图出来,每个节点里面都包含大厂面经、学习笔记、源码讲义、实战项目、讲解视频
如果你觉得这些内容对你有帮助,可以添加下面V无偿领取!(备注Java)
大厂面经、学习笔记、源码讲义、实战项目、讲解视频**
如果你觉得这些内容对你有帮助,可以添加下面V无偿领取!(备注Java)
[外链图片转存中…(img-pSPpUxeK-1710851252811)]