并行计算-学习笔记2

最新推荐文章于 2022-05-31 19:38:33 发布
最新推荐文章于 2022-05-31 19:38:33 发布
阅读量933 收藏 2
点赞数
分类专栏： 并行计算 C++
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/susan_wang1/article/details/49993315
版权

MIMD系统

多指令多数据流（MIMD）系统：同时支持多个指令流在多个数据流上操作.MIMD系统包括一组完全独立的核，每个核都有自己的控制单元。

MIMD系统有两种主要的类型：共享内存系统和分布式内存系统。

分布式内存系统：每个处理器有自己私有的内存空间，通过互连网络通信（显式通信）；

分布式内存系统

共享内存系统：处理器通过互连网络与内存连接，处理器之间隐式通信，共享内存。

共享内存系统

分布式内存

分布式内存编程API最广泛使用的是消息传递；分布式内存程序通常执行多个进程而不是多个线程。

消息传递的API（至少）要提供一个发送（send）和一个接收（receive）函数，进程之间通过它们的序号（rank）相互识别。

当并行程序需要输入输出时，遵循以下规则：

1.只有进程0可以访问stdin；

2.所有进程都能够访问stdout和stderr；

3.只有一个进程

最低0.47元/天 解锁文章
susan-wang
关注
  • 0
    点赞
  • 踩
  • 2
    收藏
    觉得还不错? 一键收藏
  • 0
    评论
专栏目录
并行运算学习笔记
qq_36059563的博客
05-13 712
三.并行：表面并行，不断切换。并发：真正的并发操作mimd 多指令多数据。（sisd，simd，misd ）simd在并行性较大的数据问题上游泳，但对复杂的并行问题帮助不大。mimd系统通常是异步的。共享内存系统，分布是式存系统。共享内存系统：一组自治的处理器通过互联网与内存系统相互连接，每个处理器能够访问每个内存区域。（cpu）分布是内存系统：每个处理器有自己的私有内存，处理器之间通过发送消息或...
为什么要并行计算？
热门推荐
secyb的博客
11-28 2万+
本文主要介绍了并行的相关背景以及为什么需要并行，并从并行程序的设计方面介绍了并行硬件和并行软件，最后介绍了两种主要的并行系统：基于共享内存的并行和基于分布式内存的并行，顺便谈了谈我个人的理解。
并行计算笔记
编程语言小筑
03-30 107
对线程级的并行提供硬件或者软件上的支持： 一种方法就是采用抢占式或时间片轮转的多任务操作系统。这种方法允许用当前的软件中日益增多的并发性。采用时间版策略的多线程方法允许开发人员通过在多个线程之间切换执行的途径达到了隐藏I/O延迟的目的。实际上，这种模式并不支持并行执行，因为在任何时间，CPU都只能执行一个指令流。 另一种方法就是增加计算机中物理处理器的数量，这种方法能够有效利用线程级并行性。多...
【整理】SISD、MIMD、SIMD、MISD计算机的体系结构的Flynn分类法
byebyegov5qq
02-13 1484
1.计算平台介绍 Flynn于1972年提出了计算平台的Flynn分类法，主要根据指令流和数据流来分类，共分为四种类型的计算平台，如下图所示： 单指令流单数据流机器（SISD） SISD机器是一种传统的串行计算机，它的硬件不支持任何形式的并行计算，所有的指令都是串行执行。并且在某个时钟周期内，CPU只能处理一个数据流。因此这种机器被称作单指令流单数据流机器。早期的计算机都是SISD机...
计算机-java-自学笔记
最新发布
05-28
2. 继承：Java支持单继承，一个子类可以从一个父类继承属性和方法，从而实现代码的复用。此外，Java还引入了接口，允许类实现多个接口，实现了多继承的效果。 3. 多态性：多态性是面向对象的另一个核心特征，允许一...
计算机组成原理学习笔记MD版本
07-21
**计算机组成原理学习笔记** 计算机组成原理是计算机科学与技术领域的基础课程，它涉及计算机硬件系统的基本构造和工作原理。本笔记将详细讲解以下几个核心概念： 1. **数据表示与运算** - **二进制系统**: ...
桂林电子科技大学计算机Verlog学习笔记
06-25
**桂林电子科技大学计算机Verilog学习笔记** Verilog是一种硬件描述语言（HDL），广泛用于数字电子系统的建模、设计和仿真。这篇学习笔记主要聚焦于Verilog的基础概念和语法，帮助初学者快速入门。 **一、Verilog...
北理工-《计算机网络》资料-学习笔记
02-16
通过这份详尽的学习笔记，学生可以系统地掌握计算机网络的基本概念、原理和应用，为后续深入学习网络编程、网络安全、网络优化等高级主题打下坚实的基础。同时，了解和实践网络配置、故障排查等实际技能也是提升...
计算机视觉（学习笔记）
04-19
本学习笔记主要探讨了计算机视觉中的几个关键方面：经典图像识别网络、目标检测、人脸识别以及图像分割。 首先，我们来看经典图像识别网络。在图像识别任务中，卷积神经网络（CNN）是核心工具。从早期的LeNet到...
并行与分布式计算笔记1
reeeeein的博客
03-03 569
并行与分布式计算笔记1 计算节点用InfiniBand网络进行通信,传输速率可以到100GB/s。 并行编译器只能做到执行级的并行，检测到basic block和少量的嵌入的for循环，无法满足并行计算的要求。 所以需要让程序员来编写并行程序。 通过操作系统底层的线程库来编程会非常复杂，甚至出错，所以会有并行编程的工具来进行抽象。 常见的工具有： OpenMP Message Passing In...
机器学习笔记：并行计算 （基础介绍）
qq_40206371的博客
05-31 1240
本篇用并行梯度下降作为引子，使用MapReduce框架，简单介绍一下并行计算。 1 并行梯度下降 1.1 最小二乘回归 我们记训练数据为 最小二乘回归定义为： 最小二乘回归的目标是寻找向量，使得对于所有的j，都接近于yj。 同样地，我们可以用梯度下降解这个问题 1.2 并行梯度下降 由于 xj 和 w 都是 d 维向量，因此计算一个 g(xj , yj ; w) 的时间复杂度是 O(d)。【d次乘法】 计算梯度需要计算g函数n次——>的时间复杂度是O(nd)。 ..
并行计算学习笔记（MPI）
ZfengxingJ的博客
03-29 1597
/* MPI点到点阻塞式通信C语言版 */#include "mpi.h" /*MPI头函数，提供了MPI函数和数据类型定义*/ #include <stdio.h>int main( int argc, char** argv ) { int rank; /*进
matlab SVM 并行计算
William_Dong的专栏
04-19 2106
SVM ten-fold cross validation 的时候用并行计算 % this is script is for SVM training and testing tic; clc clear allData=dlmread('features_LDA_ratios.txt'); % allData=importdata('experiment1.mat'); % al
MPI分布式内存编程（一）
CoSineZxc的博客
04-22 1248
分布式内存编程与MPI简介 分布式内存系统：由网络连接的核-内存对的集合组成，与核相关联的内存只能由该核访问。 使用消息传递的分布式内存系统编程：运行一个核-内存对的程序为一个进程。两个进程之间分别调用发送函数与接收函数实现消息传递。使用的函数为消息传递接口(Message-Passing Interface, MPI) Win10+VS2017上配置MPI并行编程环境 参考教程：如何在win10...
分布式系统（三）——分布式共享内存和顺序一致性
少年锦时
07-03 7127
本文主要介绍分布式中的一致性原则和分布式共享内存 文章中的内容全部来源于清华大学分布式课程网站，课程主页http://thu-cmu.cs.tsinghua.edu.cn/curriculum/dscourse/index.html什么是一致性简单的来说，一致性就是一方面保证所有的读取都能看到正确的写入内容，即数据的正确性或者说是完整性（这点类似于数据库中的事务），另一方面，在分布式系统中，一致性
【MPI并行计算】Parallel Rank程序
superce的博客
05-24 1715
该题的背景是不同的进程在运行时可能会有不同的状态，在这里用数值表示，有时需要让每个进程知道自己在所有进程中处于什么位置。首先每个进程使用自己的进程号作为随机数种子生成自己的一个随机数由于选择一个进程对所有进程数值进行排序时，该进程不仅要知道每个进程的数值，还要知道这个数值来自于哪个进程，所以这里使用结构体来存储进程号和进程数值，使用MPI_Gather时传递的是一个结构体用于计算的进程接收所有结构...
《并行程序设计导论》 mpi编写hello
qq_41180336的博客
10-06 1254
在消息传递程序中，运行在一个核-内存上的程序 通常称为一个进程。两个进程可以通过调用函数来进行通信。我们将使用消息传递的实现称为消息传递接口(Message-Passing Interface,MPI)。它是一个函数库 #include<mpi.h> 用$开头的，我是用的linux的终端写的，在root模式下 其余的都是普通的.c文件内容 编译（成为可执行文件exe格式） $mpicc...
共享内存多核系统与分布式内存系统之间的区别
weixin_33711641的博客
04-05 824
为什么80%的码农都做不了架构师？>>> ...
计算机组成原理处理器学习笔记
05-16
1. 处理器的基本结构 处理器是计算机中最重要的组成部分之一，它负责执行指令、存储和处理数据。处理器的基本结构包括运算器、控制器、寄存器、存储器和总线。 - 运算器：负责执行算术和逻辑运算，包括加法、减法、乘法、除法、与、或、非等操作。 - 控制器：负责管理指令的执行顺序和处理器的操作模式，包括指令译码、指令执行、分支控制、中断处理等。 - 寄存器：处理器内部的一种高速存储器，用于暂时存储指令和数据。常见的寄存器包括累加器、程序计数器、指令寄存器等。 - 存储器：计算机用于存储程序和数据的设备，包括内存、硬盘、U盘等。 - 总线：计算机内部各个组成部分之间传输数据和指令的通道，包括地址总线、数据总线和控制总线。 2. 处理器的指令集和编程模型 处理器的指令集是处理器能够执行的操作的集合，包括算术操作、逻辑操作、传输操作等。不同的处理器有不同的指令集，例如x86指令集、ARM指令集等。 编程模型是指程序员在编写程序时所使用的抽象模型，它描述了程序员如何使用处理器的指令集来编写程序。常见的编程模型包括传统的CISC模型和现代的RISC模型。 3. 处理器的性能指标 处理器的性能指标包括时钟频率、IPC、吞吐量和延迟等。 - 时钟频率：处理器内部时钟的运行频率，通常以GHz为单位。 - IPC（Instructions Per Cycle）：每个时钟周期内处理器执行的指令数量。 - 吞吐量：单位时间内处理器能够执行的指令数量。 - 延迟：指令从发出到执行完成所需要的时间。 4. 处理器的发展历程 处理器的发展历程经历了从单核心到多核心的演变，以及从CISC模型到RISC模型的转变。 - 单核心处理器：早期的计算机使用单核心处理器，处理器的性能主要依赖于时钟频率的提升。 - 多核心处理器：随着计算机应用的发展，多核心处理器逐渐被引入计算机中，可以同时执行多个任务，提高了计算机的并行处理能力。 - RISC模型：在处理器的指令集设计上，RISC模型强调简洁、规范的指令集，使得处理器的设计更加高效，提高了处理器的性能。 5. 处理器的未来发展方向 处理器的未来发展主要集中在以下几个方向： - 集成度的提高：将更多的处理器核心、缓存、内存控制器等集成到处理器中，提高处理器的性能。 - 异构计算：在处理器中引入异构计算单元，例如GPU、FPGA等，提高处理器的计算能力。 - 量子计算：引入量子计算的技术，实现更高效的计算处理。

“相关推荐”对你有帮助么？

  • 非常没帮助
  • 没帮助
  • 一般
  • 有帮助
  • 非常有帮助
提交
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值