MPI是一个跨语言的通讯协议,用于编写并行计算。
在并行变成,高性能计算,分布式计算等中用的很多
在深度学习的分布式计算中,MPI是和nccl并列的一种多卡通信框架
同时,MPI还是一种和Hadoop,Spark并列的并行计算框架
MPI(Massage Passing Interface)
于 2022-03-09 23:39:51 首次发布
![](https://img-home.csdnimg.cn/images/20240711042549.png)
MPI是一个跨语言的通讯协议,用于编写并行计算。
在并行变成,高性能计算,分布式计算等中用的很多
在深度学习的分布式计算中,MPI是和nccl并列的一种多卡通信框架
同时,MPI还是一种和Hadoop,Spark并列的并行计算框架