架构
文章平均质量分 85
记录个人学习
偷偷学习被我发现
记录个人点滴
展开
-
物理存储的类型、存储网络架构(DAS、NAS、SAN)
个人看书学习心得及日常复习思考记录,个人随笔。原创 2024-04-01 23:49:08 · 617 阅读 · 0 评论 -
数据仓库的基本概念、基本特征、体系结构
个人看书学习心得及日常复习思考记录,个人随笔。原创 2024-03-13 01:05:52 · 1075 阅读 · 0 评论 -
ETL与ELT理解
ELT( Extract-Load-Transform),在ELT架构中,数据的整个加工过程都在目标和源的数据库之间流动,ELT协调相关的数据库系统来执行相关的应用,数据加工过程既可以在源数据库端执行,也可以在目标数据仓库端执行(主要取决于系统的架构设计和数据属性)。在实际场景中这两种模式普遍是共存的。对于数据体量较大而且转换逻辑比较复杂的场景可以采取ELT处理,例如前面提到的数据加密场景。2、加载流程就和ETL不一样了,T和L进行了位置置换,这里是先加载到目标系统,大家也可以理解成是数据入了数仓。原创 2023-09-16 15:33:39 · 388 阅读 · 0 评论 -
MapReduce基础原理、MR与MPP区别
MapReduce(MR)本质上是一种用于数据处理的编程模型;MapReduce用于海量数据的计算HDFS用于海量数据的存储(Hadoop Distributed File System,Hadoop分布式文件系统)。Hadoop MapReduce 是一个编程框架,Hadoop环境中,可运行用各种语言编写的MapReduce程序,用于创建在大型商用硬件集群上处理大量数据的应用程序,类似于JRE环境,可以在这个架构下开发应用程序。MapReduce 程序本质上并行,本质是通过并行计算提升算力。原创 2023-08-06 01:43:21 · 1161 阅读 · 0 评论 -
三种数据库架构模式
用的是共享存储,做到了数据共享,可通过增加节点来提高并行处理的能力,扩展能力较好,使用Storage Area Network (SAN),光纤通道连接到多个服务器的磁盘阵列,降低网络消耗,提高数据读取的效率,常用于并发量较高的OLTP应用。,位于不同服务器系统的DM实例同时访问同一个数据库,节点之间通过私有网络进行通信,所有的控制文件、联机日志和数据文件存放在共享的设备上,能够被集群中的所有节点同时访问。,并行处理能力是最差的,一般不考虑大规模的并发需求,架构比较简单,一般的应用需求基本都能满足。原创 2023-07-24 20:09:06 · 289 阅读 · 0 评论 -
MPP基础原理
最近忙于工作,有一段时间没更新自己的博客了,也就意味着囤积了一波需要梳理总结并记录的知识点,但可以保证的是所有都是零星的知识点,不会涉及工作内容。MPP (Massively Parallel Processing),即大规模并行处理。原创 2023-07-15 15:49:09 · 2187 阅读 · 0 评论 -
阵列卡缓存 RAID Cache
磁盘阵列(Redundant Arrays of Independent Drives,RAID),有“独立磁盘构成的具有冗余能力的阵列”之意。RAID卡电路板上的一块存储芯片,与硬盘盘片相比,具有极快的存取速度,实际上就是相对低速的硬盘盘片与相对高速的外部设备(例如内存)之间的缓冲器。缓存的大小与速度是直接关系到RAID卡的实际传输速度的重要因素,大缓存能够大幅度地提高数据命中率从而提高RAID卡整体性能。多数RAID卡都配备了一定数量的内存作为高速缓存使用。原创 2023-06-04 23:25:22 · 2724 阅读 · 0 评论 -
MySQL集群方案总结与方案原理
在给自己做着玩的一个项目准备数据库集群,顺带自己大致系统复习并记录一下。原创 2023-05-03 03:00:53 · 1772 阅读 · 0 评论 -
数据库体系结构概念--集中式数据库、分布式数据库
平时我们接触的‘数据库’一般指的是DBMS,数据库管理系统,DBMS是软件如:mysql、oracle、dm等等都是集中式数据库,但它们不能代表整个数据库,只是通过这些软件来管理相应的数据内容;集中式数据库分布式数据库。原创 2023-03-12 18:04:13 · 3482 阅读 · 0 评论 -
文件管理---索引文件结构、位示图、树形目录结构
15号磁盘块:因为磁盘块从第0号字的第0号位开始,序号和实际位置相差:1 - 0 ,实际位置:16,且一个字占16位,1516,33/16 = 2 余 1,所以在2号字的1号位上;图中有16个字,每个字占16位,且磁盘序号是从0开始的,如果要分配15号、32号磁盘,它们在第几个字的第几位了?原创 2023-03-12 12:30:08 · 3879 阅读 · 1 评论 -
操作系统---存储管理
操作系统的抖动,又叫颠簸。颠簸是不作处理的计算机活动,通常是因为内存或其他资源耗尽或有限而无法完成所要执行的操作。当上述情况发生时,程序就会通过操作系统发出请求,操作系统就试图从其他程序中拿来所需的资源。计算页内地址、页号、百帧号(物理块号)原创 2023-03-05 16:32:27 · 2012 阅读 · 0 评论 -
进制间转换
进制转换原创 2023-03-05 13:52:10 · 655 阅读 · 0 评论 -
程序、进程、线程的基本概念、信号量的PV操作、前趋图的PV操作
进程控制块PCB的组织方式:顺序方式、链接方式、索引方式、Hash。前趋图有时候可以不考虑信号量,主要关注节点间(进程间)的PV操作。进程间的同步关系与互斥关系。原创 2023-03-04 19:14:17 · 1277 阅读 · 0 评论 -
ceph介绍、原理、架构、算法...个人学习记录
之前公司安排出差支援非结构化项目,采用springcloud+(redis+mysql数据冷热处理)+s3+es+ceph+kafka还涉及一些区块链技术等等…,在与大佬的沟通交流下对ceph产生了兴趣,私下学习记录一下;后续工作之余会采用上面相关技术栈手动实现不带公司业务的项目,可能不会分享出来;ceph集群部署这篇记录学习ceph的相关知识ceph是⼀种分布式存储系统,可以将多台服务器组成⼀个超⼤集群,把这些机器中的磁盘资源整合到⼀块⼉,形成⼀个⼤的资源池,⽀持PB级别,然后按需分配给客户端应⽤使⽤。原创 2023-03-04 16:39:57 · 814 阅读 · 1 评论 -
计算机组成结构之数据传输控制方式、总线、CISC和RISC
输入输出控制方式。原创 2023-02-10 01:33:47 · 394 阅读 · 0 评论 -
计算机组成结构之存储结构和磁盘管理
记录个人学习原创 2023-02-05 23:41:01 · 473 阅读 · 0 评论 -
计算机组成结构
目前只有部分,记录个人学习,后续掌握理解还会继续补充。原创 2023-02-03 00:43:49 · 211 阅读 · 0 评论 -
简单架构演变过程概图
补原创 2022-12-12 22:25:00 · 368 阅读 · 0 评论