【并行计算】【《并行程序设计导论》笔记】第一章：为什么要并行计算

「已注销」

已于 2024-05-01 18:52:25 修改

阅读量2k

点赞数 36

分类专栏：并行计算文章标签：并行计算

于 2024-04-28 19:19:53 首次发布

本文链接：https://blog.csdn.net/from__2024_04_11/article/details/138288531

版权

并行计算专栏收录该内容

4 篇文章 4 订阅

订阅专栏

文章目录

@[toc]
1.1|为什么需要不断提升的性能
1.2|为什么需要构建并行系统
单处理器性能提升

1.3|为什么需要编写并行程序
串行代码与并行代码
串行代码
并行代码

1.4|怎样编写并行程序
任务并行与数据并行
任务并行
数据并行

1.5|我们将做什么
共享内存系统与分布式内存系统
共享内存系统
分布式内存系统

1.6|并发、并行、分布式

因上努力

个人主页：丷从心·

系列专栏：并行计算

果上随缘

1.1|为什么需要不断提升的性能

1.2|为什么需要构建并行系统

单处理器性能提升

单处理器性能大幅度提升的主要原因之一，是日益增加的集成电路晶体管密度
随着晶体管尺寸的减小，晶体管的传递速度增快，集成电路整体的速度也增快
但是，随着晶体管速度的增快，它们的能耗也相应增加，大多数能量是以热能的形式消耗，当一块集成电路变得太热的时候，就会变得不可靠
在 $21$ 世纪的第一个 $10$ 年中，用空气冷却的集成电路的散热能力已经达到了极限

1.3|为什么需要编写并行程序

串行代码与并行代码

串行代码

sum = 0;
for (i = 0; i < n; i++)
{
    x = Compute_next_value(...);
    sum += x;
}

并行代码

假设有 $p$ 个核，且 $p$ 远小于 $n$ ，那么每个核能够计算大约 $n / p$ 个数的值并累加求和

my_sum = 0;
my_first_i = ...;
my_last_i = ...;
for (my_i = my_first_i; my_i < my_last_i; my_i++)
{
    my_x = Compute_next_value(...);
    my_sum += my_x;
}

当各个核都计算完各自的my_sum值后，将自己的结果值发送给一个指定为“ $ma s t er$ ”的核， $ma s t er$ 核将收到的部分和累加而得到全局总和

if (I'm the master core)
{
    sum = my_x;
    for each core other than myself
    {
        receive value from core;
        sum += value;
    }
}
else
{
    send my_x to the master;
}