分布式技术原理与算法解析-学习笔记(三)分布式计算技术

最新推荐文章于 2022-04-02 16:48:53 发布
最新推荐文章于 2022-04-02 16:48:53 发布
阅读量878 收藏
点赞数
分类专栏： 分布式技术
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/a_nuo/article/details/118675738
版权

分布式计算技术

MR(MapReduce)

分而治之计算模式

定义

将一个复杂的、难以解决的大问题，分割成一些规模较小的，可以比较简单的或者可以直接求解的子问题，这些子问题之间相互独立且与原问题形式相同，递归的求解这些子问题，然后将子问题解合并到原问题的解

特点

  • 问题规模比较大
  • 问题可以分解为几个规模比较小的、简单的同类型问题进行求解
  • 子问题之间相互独立
  • 子问题的解可以合并得到原问题的解
    核心步骤：1、分解原问题 2、 求解子问题 3、合并解

MR计算模型

抽象模型

在这里插入图片描述

MapReduce 分为两个阶段Map Reduce

  • Map 把复杂的任务分解为若干个“简单的任务”执行
  • Reduce 对Map阶段的结果汇总

处理流程

在这里插入图片描述

特点

  • 可以大规模扩展，适用于大型计算机集群
  • 拆分后的任务，可以跨多个计算机去执行，且各个小任务之间不会相互通信

Stream

流数据：持续快速产生，具有时效性的数据

流计算：实时获取来自不同数据源的海量数据，进行实时分析处理，获得有价值的信
息。

Stream 工作原理

一般包括三个步骤

  • 提交流式计算作业
  • 加载流式数据进行流计算
  • 持续输出计算结果
    在这里插入图片描述

Storm

Storm 是一个分布式的、容错的实时计算系统，可以持续进行实时数据流处理，
也可以用于分布式 RPC

Storm 集群

  • Master Node
    • Nimbus 负责为集群分发代码，为工作节点分配任务以及进行故障监控
    • 一个 Storm 集群在工作过程中，只有一个Nimbus 进程工作
  • Worker Node
    • Supervisor 负责监听分配给它所在的机器上的工作，负责接收 Nimbus 分配的任务，并根据需要启动和停止工作进程，其中每个工作进程都执行一个子任务
    • Spout：一种工作节点，接受数据源
    • Bolt： 一种工作节点，负责处理输入的数据流
  • 二者通过ZooKeeper 集群加强可靠性
    在这里插入图片描述
    Spout & Bolt 拓扑（有向五环图）
    在这里插入图片描述

Actor 计算模型

Actor

Actor 类似于一个“黑盒”对象，封装了自己的状态和行为，使得其他 Actor 无法
直接观察到它的状态，调用它的行为

Actor 模型

代表一种分布式并行计算模型。这种模型有自
己的一套规则，规定了 Actor 的内部计算逻辑，以及多个 Actor 之间的通信规则

计算模式

在这里插入图片描述

  • 状态： Actor组件本身的消息
  • 行为： Actor的计算处理逻辑
  • 消息： Actor的消息以邮件形式在多个Actor之间通信传递，每个Actor有自己的一个邮箱，由于接受来至其他Actor的消息

Actor工作原理

在这里插入图片描述

关键特征

  • 实现了跟高级的抽象
  • 非阻塞性
  • 无需使用锁
  • 并发度高
  • 易扩展

不足

  • 代码重用性小
  • 系统开销大
  • 实现复杂
  • 不适用于对消息顺序有严格要求的系统

模型应用

  • Erlang/OTP： Erlang 是一种通用的、面向并发的编程语言，使用 Erlang 编写分布式应
    用比较简单，而 OTP 就是 Erlang 技术栈中的标准库
  • **Akka(Java Scale)：**Akka 是一个为 Java 和 Scala 构建高度并发、分布式和弹性的消息驱动应用程序
    的工具包
  • Quasar(Java ): 开源的JVM库，极度简化了高度并发软件的创建

流水线

流水线计算模式

计算机中的流水线技术

是一种将每条指令拆分为多个步骤，多条指令的不同步骤重叠操作，从而实现几条指令并行处理的技术
在这里插入图片描述

流水线计算模式

将一个大任务才分为多个步骤执行，不同的步骤可以采用不同的进程执行

流水线计算模型

TensorFlow

【 输入】流水线

步骤
  • 提取
  • 转换
  • 加载
    在这里插入图片描述
原理

当 CPU 对第 N 个样本的数据完成预处理之后，会将预处理后的数据发送给GPU/TPU，
然后 CPU 继续对第 N+1 个样本的数据进行预处理，同时 GPU/TPU 对第 N个样本数据进行模型训练

优势
  • 提高CPU、GPU/TPU的利用率
  • 加速训练过程

机器学习流水线

步骤

  • 数据输入
  • 数据转换
  • 数据提取
  • 数据训练
  • 数据验证

HTTP 流水线传输

计算机图形学中的图流水线

指令流水线

流水线计算和流计算的区别

  1. 流水线计算主要强调一个任务的拆分后并行执行，可以重复执行，流计算更强调实时性、不可重复性
  2. 流水线计算主要关注最终结果，不太关注中间结果，流计算则关注持续输出结果
a_nuo
关注
专栏目录
【分布式事务与分库分表】
Java程序员廖志伟
04-07 214
🌟我是廖志伟，一名Java开发工程师、Java领域优质创作者、CSDN博客专家、51CTO专家博主、阿里云专家博主、清华大学出版社签约作者、产品软文专业写手、技术文章评审老师、问卷调查设计师、个人社区创始人、开源项目贡献者。🌎跑过十五公里、🚀徒步爬过衡山、🔥有过三个月减肥20斤的经历、是个喜欢躺平的狠人。
《大数据技术原理与应用》笔记
热门推荐
zjlamp的博客
11-25 1万+
一、大数据概述 大数据的特征（4V）： 1、Volume，数据量大 2、Variety，数据类型多 大数据由结构化和非结构化数据组成： 10%的结构化数据，存储在数据库中； 90%的非结构化数据，与人类信息密切相关。 3、Velocity，处理速度快 4、Value，价值密度低   大数据的关键技术： 1、分布式存储 分布式数据库 分布式文件系统 2、分布式处理 分布...
《分布式技术原理与算法解析》总结三：分布式计算技术
04-01 1032
调度架构中的两层调度的第二层调度是由框架完成的，通常就是计算框架，比如 Hadoop、Spark 等； 程序员基于这些计算框架，可以完成不同类型和规模的计算。 分布式计算的本质就是在分布式环境下，多个进程协同完成一件复杂的事情； 每个进程各司其职，完成自己的工作后，再交给其他进程去完成其他工作； 对于没有依赖的工作，进程间是可以并行执行的。 1 MapReduce 核心思想：分而治之，JDK的Fo...
分布式技术原理与算法解析-学习笔记(一)课前必读&分布式协调与同步
123
07-08 933
课前必读&分布式协调与同步课前必读分布式系统指标第一站 分布式协调与同步分布式互斥分布式选举为什么要有分布式选举分布式选举的算法1. Bully 算法（长者为大）2. Raft 算法(民主算法)3. ZAB算法（优先级的民主投票）**分布式共识**PoW 算法PoS 算法DPoS 算法分布式事务分布式事务基于 XA 协议的二阶段提交方法标题分布式锁分布式技术如何引爆人工智能 课前必读 分布式系统指标 分布式的目的是用更多的机器，处理更多的数据和更复杂的任务 性能 吞吐量：QPS，TPS，BP
《分布式原理与算法解析》学习笔记
hoho_12
06-25 1712
《分布式原理与算法解析》学习笔记 00分布式中的四纵四横 四横：分布式计算、分布式数据存储与管理、分布式通信、分布式资源池化；四纵：分布式协同、分布式调度、分布式追踪与高可用、分布式部署。 在一定的资源上，进行一定通信，通过一定计算，完成一定数据的加工和处理，从而对外提供特定的服务。 01分布式缘何而起：从单兵，到游击队，到集团军 分布式其实就是将相同或相关的程序运行在多台计算机上，从而实现特定目标的一种计算方式。 产生分布式的最主要驱动力量，是我们对于性能、...
与前华为资深技术专家一起学习分布式技术 --专栏《分布式技术原理与算法解析》学习总结
周兆熊的专栏
04-11 1590
“无意中发现了一个巨牛的人工智能教程，忍不住分享一下给大家。教程不仅是零基础，通俗易懂，而且非常风趣幽默，像看小说一样！觉得太牛了，所以分享给大家。点这里可以跳转到教程。” 不管是在互联网时代，还是移动互联网时代，抑或是现在的IoT(万物互联)时代，分布式技术都发挥着相当重要的作用。那么，分布式技术到底包含了哪些具体的技术点？它在当今的IT技术中到底扮演着一个怎样的角色？带着这诸多的疑问，我学习...
《分布式技术原理与算法解析》总结一：分布式技术总览
chuixue24的博客
03-14 902
1 分布式体系 如下图： 分布式资源池化、分布式通信、分布式数据存储与管理、分布式计算四大体系的划分符合业务架构设计的一般规律：“在一定资源上，进行一定通信，通过一定计算，完成一定数据的加工和处理，从而对外提供特定的服务” 而在分布式环境下，无论是资源、通信、数据还是计算，都需要去解决协同、调度、追踪高可用、部署的问题 2 什么是分布式 让我们从最原始的架构开始演变 单机模式：穷逼模式（穷逼：？？？老子就那么点用户，花那么多钱干啥？ 概念：所有应用程序和数据均部署在一台电脑或服务器上，由一台计算
图灵最强诸葛老师最新分享：分布式服务框架原理与实践.pdf篇
m0_67322837的博客
04-02 1235
如何实现高容量大并发数据库服务 | 数据库分布式架构设计 ？ 一为什么要做分布式数据库架构改造？ 云计算大数据时代，传统的数据库架构已经无法支撑企业高容量的数据增长，满足高并发的业务需求。对企业数据库进行分布式架构设计，打破了数据库资源不够用的天花板的同时，还能根据企业业务发展状况，随时平滑扩容。 二分布式数据库架构改造，如何做？ 数据库分布式改造要遵循“循序渐进”的拆分原则 拆分方式有垂直拆分和水平拆分两种，选择拆分方式要根据企业自身业务发展需要。 一般来说，是先做垂直拆分，再...
Hadoop大数据技术原理与运用学习笔记
Jones_aj的博客
05-22 3004
Hadoop学习过程中的一些笔记 参考书籍《Hadoop大数据技术原理与应用》清华大学出版社 黑马程序员/编著 什么是大数据？大数据的四个特征是什么？ 另外，在Hadoop架构里面，元数据的含义是什么？ Hadoop有哪些发行版本？
分布式系统协议形式化分析的架构与模型检查器应用 - 理论计算机科学电子笔记189-207 (2007)
理论计算机科学电子笔记184（2007）189-207www.elsevier.com/locate/entcs面向数据库的形式化分析--以协议和分布式系统为Carlos Bazilio1 Edward Hermann Haeusler2DepartametodeInformicaPUC-Rio巴西里约热内卢摘要...
分布式计算：原理，算法与系统（英文版）
09-10
Distributed Computing - Principles,Algorithms,and Systems 分布式计算：原理，算法与系统
分布式计算原理与应用
12-15
国外经典教材·计算机科学与技术 分布式计算原理与应用（中文版） （美）M.L.Liu著 清华大学出版社
分布式算法学习资料
04-18
Nancy A.Lynch写的分布式算法有关资料，包括中文版和英文版，便于对照学习
《分布式技术原理与算法解析》总结四：分布式通信技术
04-01 459
分布式的本质就是多进程协作，共同完成任务，彼此之间肯定需要通信 1 远程调用 不同机器中运行的进程之间的相互通信，常用的是RPC，这个大家应该都懂，不说了~ 大家可以看看dubbo，内部就是RPC+注册中心实现的 2 发布订阅 RPC进程之间是直接交互的，当进程比较多时，会导致进程维护通信的复杂度非常高，且一个进程通信接口改变，与其通信的进程都会受到影响； 随着业务和分布式计算规模的逐渐增大和复杂...
分布式算法学习
weixin_30898109的博客
09-21 182
1、Raft算法 2、Gossip协议https://www.jianshu.com/p/8279d6fd65bb 转载于:https://www.cnblogs.com/ZHUYIN/p/11563795.html
《分布式技术原理与算法解析》二-一： 分布式资源管理与负载调度之分布式体系结构
03-30 792
云可以把多个服务器管理起来，作为一个统一的资源提供服务 服务器如何组织，就是分布式体系结构的范畴 1 集中式结构 概念： 由一台或多台服务器组成中央服务器，系统内的所有数据都存储在中央服务器中，系统内所有的业务也均先由中央服务器处理； 多个节点服务器与中央服务器连接，并将自己的信息汇报给中央服务器，由中央服务器统一进行资源和任务调度： 中央服务器根据这些信息，将任务下达给节点服务器；节点服务器执...
分布式技术原理与算法解析01-注册中心原理
风尘小白沙
06-22 444
注册中心原理 服务提供者注册流程 服务提供者反注册流程 服务消费者查询流程 服务消费者订阅变更流程 第一步检查节点列表是否存在 第二步查看注册的Cluster（服务的接口名）是否存在？不存在抛出异常 第三步查看分组是否存在？不存在抛出异常 节点反注册 第一步查看服务的分组是否存在不存在抛出异常 第二步查看服务名称是否存在不存在抛出异常 第三步查看节点是否存在，存在删除节点，不存在抛出异常 第四步更新接口的Sign 查询节点信息 服务消费者查看节点信息 第一步从local cache 本地缓
分布式技术原理与算法解析-学习笔记(四)分布式通讯技术
123
07-13 239
分布式通讯技术远程调用远程过程调用（RPC）原理适用范围调用方式返回方式RMI发布订阅原理Kafka特征与应用消息队列 远程调用 远程调用是进程间函数的互相调用，是进程间通讯（IPC）的一种方式 远程过程调用（RPC） 是指不同机器中运行的进程之间的相互通信，某一机器上运行的进程在不知道底层通信细节的情况下， 就像访问本地服务一样，去调用远程机器上的服务 原理 将底层通讯细节进行封装，使用户对底层通讯无感知，底层通过Client Stub 和Server Stub进行数据打包，并通过网络协议进行传输 适
常见分布式计算技术
轻轻草原
02-05 1798
中间件技术 中间件作为构建，是分布式系统中介于应用层和网络层的一个功能层次,它能够屏蔽操作系统（或网络协议）的差异，实现分布式异构系统之间的互通或互操作。分布式 应用软件借助这种软件在不同的域之间共享资源。中间件位于客户机服务器的操作系统之上，管理计算资源和网络通信。它扩展了C/S结构,形成了一个包括客 户端、中间件和服务器的多层结构。 基于中间件的分布式计算技术以中间件为桥梁,通过把...
评论 1
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值