C# 并行计算(Parallel 和 ParallelQuery)

parallel

英 [ˈpærəlel] 美 [ˈpærəˌlɛl]
adj.平行的; 相同的,类似的; [电]并联的; [计]并行的
adv.平行地,并列地
n.平行线(面); 相似物; 类比; 纬线
vt.使平行; 与…媲美; 与…相比; 与…相似

System.Threading.Tasks.Parallel

Parallel 主要提供了 For 系列方法和 ForEach 系列方法,并行处理所有项。两个系列的方法都有若干重载,但最常用也最易用的是这两个

Parallel.For(int fromInclude, int toExclude, Action<int> body)

这个方法从 fromInclude 开始,到 toExclude 结束,循环其中的每一个数,并对其执行 body 中的代码。从参数的名称可以了解,这些数,包含了 fromInclude,但不包含 toExclude

这很像 for(int i = fromInclude; i < toExclude; i++) { body(i) },但与之不同的是 for 语句会顺序的遍历每一个数,而 Parallel.For 会尽可能的同时处理这些数——它是异步的,也就意味着,它是无序的。

来举个简单的例子

Parallel.For(0, 10, (i) => {
    Console.Write($"{i} ");
});
Console.WriteLine();

下面是它可能的输出之一(因为无序,所以并不确定)

0 4 8 9 1 3 5 6 2 7

Parallel.ForEach<T>(IEnumerable<T>, Action<T>)

Parallel.For 就是异步的 for,那么 Parallel.ForEach 就是异步的 foreach。还是刚才那个例子,稍稍改动下

var all = new [] { 0, 1, 2, 3, 4, 5, 6, 7, 8, 9 };
Parallel.ForEach(all, (i) => {
    Console.Write($"{i} ");
});
Console.WriteLine();

其结果同样是 0~9 的无序排列输出。

并行的意义在于处理耗时计算

上面仅仅说明了 Parallel.ForParallel.ForEach,然并卵,远不如原生的 forforeach 易用。纯粹从语法上来说,是的,但是要了解到 Parallel 的目的是并行,并行的目的是高效处理耗时计算。所以,现在需要假设一个耗计算存在……

void LongCalc(int n) {
    // 也没什么用,只是模拟耗时而已
    Thread.Sleep(n * 1000);
}

如果用 for 循环,不用运行也能知道下面这代码运行时间会超过 6000 毫秒。

for (int i = 1; i < 4; i++) {
    LongCalc(i);
}

但是用 Parallel.For

Stopwatch watch = new Stopwatch();
watch.Start();
Parallel.For(1, 4, LongCalc);
watch.Stop();
Console.WriteLine(watch.ElapsedMilliseconds);

答案是 3019,意料之中,并行嘛!

如果需要每次 body 调用的计算结果怎么办

这个问题又站在了一个新的高度,毕竟不所有事情都不需要反馈。

现在用一个递归调用的阶乘算法来模拟耗时计算,虽然它其实并不怎么耗时,为了使代码简单,这里并不会选用太大的数。然后假设需要算 n 个数的阶乘之和,所以我们需要并行计算每个数的阶乘,再把各个结果加起来。这段代码大概会是这样

int CalcFactorial(int n)
{
    return n <= 2 ? n : n * CalcFactorial(n - 1);
}

int SumFactorial(params int[] data)
{
    int sum = 0;
    Parallel.ForEach(data, n => {
        sum += CalcFactorial(n);
    });
    return sum;
}

给几个数就可以得到结果:

Console.WriteLine($"sum is {SumFactorial(4, 5, 7, 9)}");

猜猜结果是多少?

368064 么?是的。

368064,但并不每次都是,有时候可能会得到一个 120,或者 5040,为什么???

注意“并行”,这意味着存在线程安全的问题。
+= 并不是原子操作,所以这里需要改一下

int SumFactorial(params int[] data)
{
    int sum = 0;
    Parallel.ForEach(data, n => {
        Interlocked.Add(ref sum, CalcFactorial(n));
    });
    return sum;
}

如你如愿,这回对了。
Interlocked 类提供了一些简单计算的原子操作,完全值得去学习一下。

话虽如此,但需要的不是一个计算好的结果,而是每一个单独的结果怎么办?看起来 Parallel 有点不合适了,那就试试 ParallelQuery 吧,这个来自 Linq 的东东。

System.Linq.ParallelQuery<T>

IEnumerable<T>.AsParallel() 可以很容易得到 ParallelQuery<T>,这也是 Linq 中提供的扩展方法。那么从熟悉的开始,改用 ParallelQuery<T> 来算算阶乘之和

int SumFactorial(params int[] data)
{
    return data.AsParallel().Select(CalcFactorial).Sum();
}

很简单的样子。而且 Select() 也很熟悉,它得到的是一个 ParallelQuery<T>,继承自 IEnumerable<T>。所以,如果需要每一个单独的结果,只要去掉 Sum(),换成 ToList() 或者 ToArray() 就可以了,甚至直接作为一个 IEnummerable<T> 来使用也是不错的选择。

这里似乎接触到了一个新的话题——并行 Linq。其实 Linq 也是编译成方法调用来运行的,现在已经有方法调用的代码了,写个 Linq 语句还不容易:

int SumFactorial(params int[] data)
{
    return (from n in data.AsParallel()
            select CalcFactorial(n)).Sum();
}
  • 0
    点赞
  • 2
    收藏
    觉得还不错? 一键收藏
  • 0
    评论
内容简介 您想淋漓尽致地发挥多核计算机系统的处理能力吗?《C#并行编程高级教程:精通NET 4 Parallel Extensions》将帮助您实现这一夙愿。这本精品书籍浓墨重彩地描述如何使用C# 4、Visual Studio 2010和.NET Framework 4高效地创建基于任务的并行应用程序,详细讲述最新的单指令、多数据流指令和向量化等并行编程技术,介绍现代并行库,讨论如何珠联璧合地使用高级Intel工具与C#,并指导您巧妙使用新引入的轻型协调结构来开发自己的解决方案并解决最棘手的并发编程问题。 主要内容 ◆介绍如何基于新Task Parallel Library和.NET 4设计稳定的可扩展并行应用程序。 ◆讲解命令式数据并行、命令式任务并行、并发集合以及协调数据结构。 ◆描述PLINQ高级声明式数据并行。 ◆讨论如何使用新的Visual Studio 2010并行调试功能来调试匿名方法、任务和线程。 ◆演示如何对数据源进行分区,以便在不同任务和线程之间合理分配工作负荷。 作者简介 Caston C.Hillar是一位独立软件咨询师,自1997年起便一直从事并行编程、多处理器和多核领域的研究,Gaston拥有使用C#和.NET Framework来设计和开发各种复杂并行解决方案的丰富经验,曾于2009年荣膺Intel Black Belt Software Developer奖。 目录 第1章 基于任务的程序设计 1.1 使用共享内存的多核系统 1.1.1 共享内存多核系统与分布式内存系统之间的区别 1.1.2 并行程序设计和多核程序设计 1.2 理解硬件线程和软件线程 1.3 理解Amdahl法则 1.4 考虑Gustafson法则 1.5 使用轻量级并发模型 1.6 创建成功的基于任务的设计 1.6.1 以并发的思想指导设计 1.6.2 理解交错并发、并发和并行之间的区别 1.6.3 并行化任务 1.6.4 尽量减少临界区 1.6.5 理解多核并行程序的设计原则 1.7 为NUMA架构和更高的可扩展性做好准备 1.8 判断是否适合并行化 1.9 小结 第2章 命令式数据并行 2.1 加载并行任务 2.1.1 System.Threading.Tasks.Parallel类 2.1.2 Parallel.Invoke 2.2 将串行代码转换为并行代码 2.2.1 检测可并行化的热点 2.2.2 测量并行执行的加速效果 2.2.3 理解并发执行 2.3 循环并行化 2.3.1 Parallel.For 2.3.2 Parallel.ForEach 2.3.3 从并行循环中退出 2.4 指定并行度 2.4.1 ParallelOptions 2.4.2 计算硬件线程 2.4.3 逻辑内核并不是物理内核 2.5 通过甘特图检测临界区 2.6 小结 第3章 命令式任务并行 3.1 创建和管理任务 3.1.1 System.Threading.Tasks.Task 3.1.2 理解Task状态和生命周期 3.1.3 通过使用任务来对代码进行并行化 3.1.4 等待任务完成 3.1.5 忘记复杂的线程 3.1.6 通过取消标记取消任务 3.1.7 从任务返回值 3.1.8 TaskCreationOptions 3.1.9 通过延续串联多个任务 3.1.10 编写适应并发和并行的代码 3.2 小结 第4章 并发集合 4.1 理解并发集合提供的功能 4.1.1 System.Collections.Concurrent 4.1.2 ConcurrentQueue 4.1.3 理解并行的生产者-消费者模式 4.1.4 ConcurrentStack 4.1.5 将使用数组和不安全集合的代码转换为使用并发集合的代码 4.1.6 ConcurrentBag 4.1.7 IProducerConsumerCollection 4.1.8 BlockingCollection 4.1.9 ConcurrentDictionary 4.2 小结 第5章 协调数据结构 5.1 通过汽车和车道理解并发难题 5.1.1 非预期的副作用 5.1.2 竞争条件 5.1.3 死锁 5.1.4 使用原子操作的无锁算法 5.1.5 使用本地存储的无锁算法 5.2 理解新的同步机制 5.3 使用同步原语 5.3.1 通过屏障同步并发任务 5.3.2 屏障和ContinueWhenAll 5.3.3 在所有的参与者任务中捕捉异常 5.3.4 使用超时 5.3.5 使用动态数目的参与者 5.4 使用互斥锁 5.4.1 使用Monitor 5.4.2 使用锁超时 5.4.3 将代码重构为避免使用锁 5.5 将自旋锁用作互斥锁原语 5.5.1 使用超时 5.5.2 使用基于自旋的等待 5.5.3 自旋和处理器出让 5.5.4 使用volatile修饰符 5.6 使用轻量级的手动重置事件 5.6.1 使用ManualResetEventSlim进行自旋和等待 5.6.2 使用超时和取消 5.6.3 使用ManualResetEvent 5.7 限制资源的并发访问 5.7.1 使用SemaphoreSlim 5.7.2 使用超时和取消 5.7.3 使用 Semaphore 5.8 通过CountdownEvent简化动态fork和join场景 5.9 使用原子操作 5.10 小结 第6章 PLINQ:声明式数据并行 6.1 从LINQ转换到PLINQ 6.1.1 ParallelEnumerable及其AsParallel方法 6.1.2 AsOrdered和orderby子句 6.2 指定执行模式 6.3 理解PLINQ中的数据分区 6.4 通过PLINQ执行归约操作 6.5 创建自定义的PLINQ聚合函数 6.6 并发PLINQ任务 6.7 取消PLINQ 6.8 指定所需的并行度 6.8.1 WithDegreeOfParallelism 6.8.2 测量可扩展性 6.9 使用ForAll 6.9.1 foreach和ForAll的区别 6.9.2 测量可扩展性 6.10 通过WithMergeOptions配置返回结果的方式 6.11 处理PLINQ抛出的异常 6.12 使用PLINQ执行MapReduce算法 6.13 使用PLINQ设计串行多步操作 6.14 小结 第7章 Visual Studio 2010的任务调试能力 7.1 充分利用多显示器的支持 7.2 理解并行任务调试器窗口 7.3 查看Parallel Stacks图 …… 第8章 线程池 第9章 异步编程模型 第10章 并行测试和调优 第11章 向量化、SIMD指令以及其他并行库 附录A .NET 4中与并行相关的类图 附录B 并发UML模型 附录C Parallel Extensions Extras

“相关推荐”对你有帮助么?

  • 非常没帮助
  • 没帮助
  • 一般
  • 有帮助
  • 非常有帮助
提交
评论
添加红包

请填写红包祝福语或标题

红包个数最小为10个

红包金额最低5元

当前余额3.43前往充值 >
需支付:10.00
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明:

1.余额是钱包充值的虚拟货币,按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载,可以购买VIP、付费专栏及课程。

余额充值