017-机器学习背后的思维-针对入门小白的概念算法及工具的朴素思考

7.4 训练并行化

我们先解释两个名词： 并行(parallel)与并发(concurrence)。 这两个单词在计算机 知识体系中会经常用到， 很多人概念搞不清，造成实际机器学习应用中用错了，还找 不到原因。 1

1.) 并行(parallel)的语义前提是，有「多个」物理或抽象计算单元， 这些计算单元 在 相同的时间尺度(宏观或微观)上同时运行多个任务。 强调的是「多个」， 「无任务在等待」的概念。

2.) 并发(concurrence)的语义前提是， 只有「一个」物理或抽象的计算单元。 强 调的是，多个任务在同一个计算单元， 同一时间片内上运行。 例如，一个网 站的并发性。一个服务器的并发性。 强调的重心是「一个计算单元，一个时 间片内」， 同时也强调一定「有任务可以等待」。 另一个例子是，多线程的 并发， 也指在一个CPU上运行， 通过减少工作的准备时间来增加系统的利用 率。

通俗地讲，在你一次接收到了多个任务要做的前提下， 并行意味着你有多名手下 同时给你干活； 而并发意味着，你光杆司令一个， 只能通过科学管理，任务排期、计 划， 减少任务的准备工作及任务间的切换成本， 来提高工作效率。 譬如，你现在有 二个任务， 一个是中午去吃饭， 另一个是烟没了， 下楼买包烟。 合理的计划， 下楼 去街上吃完饭，走回来的时候， 顺手买包烟。而不是，现在下楼先去买烟，再上楼， 然后过一会儿再下楼去吃饭。 从宏观上讲，中午这个时间段内，你完成了两件事的并 发。 其实任务还是串行完成的，不是并行完成的。

利用 GPU 并行训练模型其实是就是并行做题。 一张卷子上 100 道题。 这次来做 题的人不是旁人， 是「哪吒」。 他有三头六臂， 他可以一次拿出三道题给三个脑袋 做。 一次做三道题， 效率自然高。 因此， 我们称机器学习是并行训练， 不是并发训 练。

018-机器学习背后的思维-针对入门小白的概念算法及工具的朴素思考