分布式系统

已于 2024-05-25 11:43:21 修改
阅读量889 收藏
点赞数 1
分类专栏： 分布式微服务框架、开源框架及中间件 文章标签： hadoop 大数据 分布式 spark
于 2023-03-20 20:18:01 首次发布
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/xing_jian1/article/details/129675223
版权

目录

分布式存储系统

分布式计算系统

分布式消息队列系统

分布式机器学习系统

分布式框架

分布式数据库

分布式存储系统

分布式存储系统分为两大类中心化控制架构(HDFS)和完全无中心架构(Ceph)。

中心化控制架构：以单独元数据服务器为中间控制，具体数据存储服务器为分布式存储的架构存储。

ad6530bcbe4840c9b974074f5fd909a4.png

用户第一步先访问元数据的服务器节点，这个元数据服务器为中间控制，每一次访问真正数据前，都需要先访问元数据服务节点，服务器节点存储的是元数据，元数据是描述数据的数据，元数据存储了真实数据的描述信息，包含具体数据的路径以及相关信息；

完全无中心架构：客户端通过设备映射关系计算出具体数据的位置，直接访问。客户端通过Mon通信服务，计算得到客户端需要写到的具体文件路径。

3e0118c4769e488dab810ad6d10073d8.png

客户端有一个Mon服务，根据Mon服务经过一系列的运算可以得

了解本专栏 订阅专栏 解锁全文 超级会员免费看
骆驼整理说
关注
  • 1
    点赞
  • 踩
  • 0
    收藏
    觉得还不错? 一键收藏
  • 打赏
    打赏
  • 0
    评论
专栏目录
订阅专栏
分布式系统原理与范型(第2版).Andrew S.Tanenbaum(带详细书签)
12-04
本书是Tanenbaum先生对所著的《分布式操作系统》的升级更新，是分布式系统的权威教材。全书分为两部分：原理和范型。第一部分详细讨论了分布式系统的原理、概念和技术，其中包括通信、进程、命名、同步、一致性和复制、容错以及安全。第二部分给出了一些实际的分布式系统：基于对象的分布式系统、分布式文件系统、基于文档的分布式系统以及基于协作的分布式系统，介绍了一些实际系统的设计思想和实现技术。全书结构清晰，内容全面经典，系统性与先进性并茂。 本书适用对象广泛。对于学习分布式计算机的本科生和研究生，本书是优选教材。对于从事分布式计算研究和工程应用的科技人员和工程技术人员，本书也是一本优秀的基础性读物。
分布式计算框架
liubo0525
03-08 4643
数据库排名：https://db-engines.com/en/ranking 关系型数据库优化： 一：通信。应用程序通过JDBC或者ODBC与DBMS进行通信是OLTP事务中主要的开销。 二：日志。 三：锁 四：缓冲区 采集/缓存/汇聚/扩维/索引/入库/管理/展示 https://www.oracle.com/technetwork/cn/community/developer-day/2-oracle-big-data-2190827-zhs.pdf NoSQL 1）键值模型 实例 Radis;M
大数据4 - 分布式计算
贵有恒何必三更眠五更起 最无益只怕一日曝十日寒
04-15 2980
概述1.分布式计算概述分散->汇总模式：1.将数据分片，多台服务器各自负责一部分数据处理2.然后将各自的结果，进行汇总处理3.最终得到想要的计算结果1.什么是计算、分布式计算？•计算：对数据进行处理，使用统计分析等手段得到需要的结果•分布式计算：多台服务器协同工作，共同完成一个计算任务2.分布式计算常见的2种工作模式•分散->汇总MapReduce就是这种模式）•中心调度->步骤执行（大数据体系的SparkFlink等是这种模式）
分布式计算
masterfuck的博客
03-31 826
Linux多线程服务器编程 第4章-----C++多线程系统编程精要 文章目录Linux多线程服务器编程前言《linux多线程服务端编程》第四章笔记一、pandas是什么？二、使用步骤1.引入库2.读入数据总结 前言 《linux多线程服务端编程》第四章笔记 一、pandas是什么？ 示例：pandas 是基于NumPy 的一种工具，该工具是为了解决数据分析任务而创建的。 二、使用步骤 1.引入库 代码如下（示例）： import numpy as np import pandas as pd im
分布式系统架构
03-01
终于到了时下讨论最热门的分布式系统架构了，现在各大公司无论是大公司还是小公司都会提及使用分布式系统架构来构建xxx系统，还有PasS平台这些概念的出现，可以说分布式系统架构是现在最热门的技术话题了。...
分布式系统介绍
11-26
介绍分布式系统的基本概念，是分布式系统学习入门的资料，介绍的很详细。
分布式系统开发实战：分布式计算，分布式计算常用技术
m0_63437643的博客
03-16 1190
Hadoop MapReduce是分步对数据进行处理的，先从集群中读取数据，进行一次处理，将结果写到集群，从集群中读取更新后的数据，再进行下一次的处理，将结果写到集群。比如，在Oracle数据库中，有100万条工人的薪资单数据，我们要统计这些工人的薪资的总和。作为世界领先的科技公司，Google公司为了应对大数据的处理，内部已经实现了数以百计的为专门目的而写的计算程序，其中MapReduce就是其著名的计算框架之一，与GFS、Bigtable一起被称为Google技术的“三宝”。在内的很多互联网公司。
并行计算与分布式计算
热门推荐
Listron的专栏
08-24 1万+
并行计算、分布式计算以及网格计算和云计算都是属于高性能计算（HPC）的范畴，主要目的在于对大数据的分析与处理，但它们却存在很多差异。我们需要了解两者的原理、特点和运用的场合，对云计算的了解大有裨益。 之所以将两种计算技术放在一起，是因为这两种计算具有共同的特点，都是运用并行来获得更高性能计算，把大任务分为N个小任务。但两者还是有区别的，关于两者的区别在后面有介绍。 并行计算 1、并行计算概念 并行计算（Parallel Computing）又称平行计算是指一种能够让多条指令同时进行.
第一章 分布式计算概述
qq_41883276的博客
12-05 1788
第一章 分布式计算概述 一、分布式计算的概念 分布式计算是计算机科学的重要研究内容，主要研究对象是分布式系统。简单地说，一个分布式系统是由若干通过网络互连的计算机组成的软硬件系统，且这些计算机互相配合以完成一个共同的目标（往往这个共同的目标称为“项目”）。 分布式计算研究如何把一个需要非常巨大的计算能力分成许多小的部分，然后分配给许多计算机进行处理，最后把各部分的计算结果合并起来得到...
分布式计算基础知识
最新发布
qq_42337039的博客
05-12 586
分布式系统是由多个独立计算机组成的系统，这些计算机通过网络进行通信和协作，共同完成一个任务。分布式系统的特点是具有高可用性、可扩展性和容错性。在分布式系统中，每个计算机节点都可以独立地执行任务，同时也可以与其他节点进行通信和协作，共同完成一个任务。分布式系统通常由多个层次组成，例如客户端、应用服务器、数据库服务器等。分布式系统的设计需要考虑以下问题：数据一致性：分布式系统中的数据可能分布在不同的节点上，因此需要确保数据的一致性，避免数据冲突和错误。
分布式计算概述
Liang_xx0的博客
11-29 748
分布式计算定义 分布式计算是一门计算机科学，主要研究对象是分布式系统。 分布式系统是由若干通过网络互联的计算机组成的软硬件系统，且这些计算机互相配合以完成一个共同的目标。 分布式计算指在分布式系统上执行的计算。分布式计算是将一个大型计算任务分成很多部分分别交给其他的计算机处理，并将所有的计算结果合并为原问题的解决方案。 分布式计算的优缺点 优点：超大规模 ，虚拟化，高可靠性 ，通用性 ，高可伸缩性...
分布式计算概念
HeavenlyDragon的博客
12-03 3969
分布式计算概念 分布式计算概念 分布式系统介绍 分布式计算基础技术 HeavenlyDragon
分布式计算基本概念
weixin_54279868的博客
09-15 1733
1.分布式计算和分布式系统 分布式计算就是建立在分布式系统上的计算。 分布式系统是一个其组件分布在不同的、联网的计算机上，组件间通过传递消息进行通信和协调，共同完成一个任务的系统。 2.使用分布式系统的优点 （1）高性能（2）可扩展性（3）高可用性fault tolerance（4）客观原因 3.分布式系统面领的挑战 （1）网络延迟问题：计算机之间传递消息不稳定。 （2）部分失效问题：需要处理部分节点失效问题。 （3）时钟问题：两个节点时钟不同步，错误认为发消息的事情反而在接收消息的事件之后
分布式计算的基本原理
jinghuainfo
07-05 1591
分布式计算的基本原理 转载时请注明出处：http://blog.csdn.net/absurd 从最近几次MMI设计会议讨论的结果来看，嵌入式程序员对于分布式计算知之甚少。他们对分布式计算有种恐惧，所以对分布式架构极力排斥。而他们的人数又占绝对优势，讨论N次，MMI的架构还是没有确定下来。分布式计算已经进入桌面环境，不是企业应用的专利了，像GNOME(GNU Network Objec...
分布式计算概述总结
Leozonemxy的博客
11-19 2508
分布式计算概述总结什么是分布式计算？广义定义中科院定义分布式计算的优缺点优点缺点并行计算与分布式计算的联系与区别并行计算分布式计算两者之间的区别分布式系统的CAP理论一致性可用性分区容忍性CAP中的选择分布式计算的应用实例 什么是分布式计算？ 分布式计算是一种计算方法，和集中式计算是相对的。 分布式计算是利用互联网上的计算机的中央处理器的闲置处理能力来解决大型计算问题的一种计算科学。 广义定义 分...
分布式计算的概念
qq_41837608的博客
12-03 1097
@TOC 分布式计算、云计算与大数据 主要介绍分布式计算的定义、优缺点等基础知识。 1.1分布式计算的概念 1.1.1定义 分布式计算简单的说就是：把一个需要庞大计算量的任务分配给多台计算机进行处理，然后将所有计算机处理的结果结合起来形成最后的结果。 1.1.2分布式计算的优缺点 优点： 1、低廉的计算机价格和网络访问的可用性。计算机硬件的价格和网络的价格越来越便宜。 2、资源共享。 3、可伸缩性...

“相关推荐”对你有帮助么？

  • 非常没帮助
  • 没帮助
  • 一般
  • 有帮助
  • 非常有帮助
提交
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包

打赏作者

骆驼整理说

你的鼓励将是我创作的最大动力

¥1 ¥2 ¥4 ¥6 ¥10 ¥20
扫码支付：¥1
获取中
扫码支付

您的余额不足，请更换扫码支付或充值

打赏作者

实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值