荪荪的博客

初稿未完成摘要经典并行计算方案介绍。OPENMP技术详细介绍。MPI技术详细介绍。NV集合通信NCCL 技术介绍。MPIMPI（MPI是一个标准，有不同的具体实现，比如MPICH等）是多主机联网协作进行并行计算的工具，当然也可以用于单主机上多核/多CPU的并行计算，不过效率低。它能协调多台主机间的并行计算，因此并行规模上的可伸缩性很强，能在从个人电脑到世界TOP10的超级计算机上使用。缺点是使用进程间通信的方式协调并行计算，这导致并行效率较低、内存开销大、不直观、编程麻烦。OpenMP

一、内部方法网络结构的选择比如 CNN 与 RNN，前者更适合并行架构优化算法的改进：动量、自适应学习率减少参数规模比如使用 GRU 代替 LSTM参数初始化Batch Normalizationmini-batch 的调整二、外部方法GPU 加速数据并行模型并行混合数据并行与模型并行CPU 集群GPU 集群如下图所示（如借用的）这里重点讲解外部加速方法，旨在阐述训练大规模深度学习模型时的分布式计算思想：具体来讲：首先，介绍了分布式计算的基本概念，以及分布式计