MPI_Send的缓冲区大小问题

最新推荐文章于 2023-08-29 22:53:05 发布
最新推荐文章于 2023-08-29 22:53:05 发布
阅读量4.6k 收藏 2
点赞数 2
文章标签： buffer 优化 测试
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/odyssey__/article/details/8081769
版权

        最近一直在忙程序的搬家问题，其实说起来不能再简单了：就是把在公司调好的一个MPI程序搬到gz的大系统上去跑，本以为没啥问题的一个步骤实现起来却各种问题，既遇到编译的问题（第一篇博客中提到的）并解决之后，程序的运行也出现了错误。错误信息为“fatal error in MPI: other MPI error”，而且死掉的进程都是发送进程，这让我百思不解。

        然后我怀疑了各种问题尝试了各种方式：首先，使用gdb调试，但问题在于由于需要修改-O3的优化选项才能调试MPI程序，这导致了程序跑的奇慢……发火，等得受不了了；然后，我就只好回归了最原始的输出调试，但我又惊奇的发现，本应该输出的信息没有输出或者没有按顺序输出，实在是混淆视听发火，问了贵鑫才知道是因为缓冲区可能不满，所以利用flush解决了问题（语法为：cout<<"输出的内容"<<……<<flush）；在输出信息的帮助下，我逐渐将出错的位置锁定在了用MPI_Send发送大文件的一条语句上，因为我发现，发送其他的信息比如文件名，文件大小等小的信息都可以正常接收，但发送文件时就出错，我怀疑可能是buffer大小的问题。因为文件名等信息的buffer设置为100个字节，而发送的文件比较大，采用循环发送的方式

最低0.47元/天 解锁文章
odyssey__
关注
  • 2
    点赞
  • 踩
  • 2
    收藏
    觉得还不错? 一键收藏
  • 1
    评论
MPI点对点通讯
sinat_38515986的博客
05-08 778
MPI点对点通信,包括阻塞通信: 标准发送（MPI_Send）由系统自行决定使用缓冲发送还是同步发送；缓冲发送（MPI_Bsend）使用预分配缓冲区，数据存到系统缓冲区后立即返回；同步发送（MPI_Ssend）确保数据到达接收进程后才返回；就绪发送（MPI_Rsend）在接收方调用接收函数时才真正发送数据。非阻塞通信
MPI并行程序设计复习之MPI_Recv和MPI_Send，6个MPI基本函数
qq_40408610的博客
06-26 6776
基本函数： 初始化 int MPI_Init(&argc,&argv); 获得进程数 int MPI_Comm_size( MPI_Comm comm /*in*/, int* size/*out*/ ); 获得进程号 int MPI_Comm_rank( MPI_Comm comm /*in*/, int* rank/*out*/); 结束 MPI_Finalize(); comm通信器： 进程的集合，也就相当于进程组 MPI 程序启动时自动建立两个通信器： MPI_COMM_WORL
MPI_Send和MPI_Recv（初识1）
RToax
11-24 2609
/** * * * @Copyright Du Zhihui :edited * Li Sanli :review * Chen Yu Liu Peng :proofreading * * Rong
Fatal error in MPI_Gather: Other MPI error,的一个解决方法
热门推荐
pouloghost的专栏
10-06 1万+
Fatal error in MPI_Gather: Other MPI error, error stack: MPI_Gather(761)...................: MPI_Gather(sbuf=0x7fffe81491f0, scount=8192, MPI_DOUBLE, rbuf=0x2ba3422b1010, rcount=8192, MPI_DOUBLE, roo
MPI之点对点通信——阻塞式MPI_Send 和MPI_Recv
olivia12344321的博客
07-04 4923
MPI的两种点对点通信方式——阻塞式 MPI的点对点通信包括阻塞式和非阻塞式： 阻塞式通信调用 MPI_Send/MPI_Recv MPI_Send不会返回，调用MPI_Send发送数据的进程会被阻塞，直到缓存为空 MPI_Recv不会返回，调用 MPI_Recv接收数据的进程会被阻塞，直到缓存被填充 消息发送函数：MPI_Send 函数原型： int MPI_Send(void *buf, //buf为消息的地址 int count,//count是内容的数量 MPI_Datatyp
MPI之MPI_Send&MPI_Recv阻塞接口及参数详解
最新发布
KingOfMyHeart的博客
08-29 3304
MPI_Recv 函数是 MPI 标准中的一个阻塞函数，它将一直阻塞直到接收到来自指定源和标记的消息。返回值：函数执行成功，返回 MPI_SUCCESS。如果发生错误，则返回相应的错误码。返回值：函数执行成功，返回 MPI_SUCCESS。如果发生错误，则返回相应的错误码。
Mpi Send.tar.gz_mpi send_show
09-20
- `buf`：要发送的数据缓冲区。 - `count`：要发送的元素数量。 - `datatype`：每个元素的数据类型。 - `dest`：接收进程的进程号。 - `tag`：用于区分不同的消息。 - `comm`：通信器对象，通常使用 `MPI_COMM_WORLD...
MPI.zip_MPI_MPI_Alltoall_heardmaa
09-25
此外，可能还会涉及数据类型定义（MPI_Datatype）、缓冲区管理以及错误处理。 总的来说，这个项目的目标是通过基本的MPI通信函数来构建一个高效的MPI_Alltoall实现，这对于理解和优化并行计算中的数据交换至关重要...
mpi.rar_MPI_mpi master
09-22
它需要指定发送的数据缓冲区、数据类型、大小、目标进程的rank以及通信上下文。 5. **MPI_Recv函数**：`MPI_Recv`用于在一个进程接收来自其他进程的数据。它需要设置接收数据的缓冲区、数据类型、预期的大小、源...
MPI.zip_MPI_MPI 并行
09-23
- **减少通信开销**: 优化数据传输策略，如减少不必要的通信，使用缓冲区等。 - **并行算法设计**: 选择适合并行化的算法，如并行排序、并行搜索等。 通过学习联想的内部资料，开发者可以深入了解MPI并行编程，...
MPI-Demo_MPI_DEMO_
09-29
3. **缓冲区通信**：`MPI_Ssend`、`MPI_Rsend`和`MPI_Sendrecv`提供了不同类型的同步通信选项，优化了数据传输的效率。 **集体通信**： 1. **广播**（Broadcast）：`MPI_Bcast`让一个进程的数据被所有进程接收到，...
MPI多线程传输大量数据
weixin_44808352的博客
12-21 630
MPI多线程传输大量数据 报错如下 Fatal error in MPI_Waitall: Other MPI error, error stack: MPI_Waitall(392)…: MPI_Waitall(count=200, req_array=0x7ffee33bc3e0, status_array=0x7ffee33bb440) failed MPIR_Waitall_impl(221)…: MPIDI_CH3I_Progress(547)…: pkt_CTS_handler(350)…: M
Fatal error in PMPI_Init: Other MPI error, error stack:MPIR_Init_thread(138)
小男孩儿的博客
08-13 4936
使用onepai 2021.3的编译器，编译程序后，用slurm调度系统跑作业报错：
RKMEDIA 调试笔记
flying_ant2018的博客
10-25 5259
1 RKMEDIA 框架 RKMedia提供了一种媒体处理方案，可支持应用软件快速开发。RKMedia在各模块基础API上做进一步封装，简化了应用开发难度。该平台支持以下功能： VI(输入视频捕获 "Video inpuput capture")、 VENC(H.265/H.264/JPEG/MJPEG 编码 "Video Encode") ; VDEC(H.265/H.264/JPEG、MJPEG 解码 "Video Decode") ; VO(视频输出显示 "Video Outp...
[MPI] Windows环境下vs2017中进行MPI编程可能遇到的小问题
成溪的博客
09-04 4407
准备工作 win环境下在Vs2017中配置MPI请看这里：MPI环境搭建 MPI基础知识 int main(int argc, char* argv[]) { int mpi_rank, mpi_num; //分别代表当前进程ID和进程总数 MPI_Status status; MPI_Init(&argc, &argv); //初始化 MPI_Comm_rank(MPI_COMM_WORLD, &mpi_rank); //向mpi_rank赋值 MPI_C
MPI: 点对点通信(Point-to-Point communication)
weixin_42849849的博客
12-07 918
MPI点对点通信(Point-to-Point communication)
MPI学习三 不同通信模式MPI并行程序的设计
s_sunnyy的博客
02-27 2917
MPI四种通信模式及其函数： 标准通信模式：MPI_SEND缓存通信模式：MPI_BSEND同步通信模式：MPI_SSEND就绪通信模式：MPI_RSEND 四种通信模式的区别都在消息发送端，而消息接收端的操作都是MPI_RECV。 1. 标准通信模式 标准通信模式下，是否对发送的数据进行缓存是由MPI自身决定的，而不是由并行程序员来控制。  如果MPI不缓存将要
MPI消息传递MPI_Sendrecv的用法
06-07
`MPI_Sendrecv` 函数是 MPI 库中的一个消息传递函数，它可以在一个函数调用中完成发送和接收操作，因此可以避免死锁等问题。 `MPI_Sendrecv` 函数的原型如下： ``` int MPI_Sendrecv(const void *sendbuf, int sendcount, MPI_Datatype sendtype, int dest, int sendtag, void *recvbuf, int recvcount, MPI_Datatype recvtype, int source, int recvtag, MPI_Comm comm, MPI_Status *status) ``` 该函数有以下参数： - `sendbuf`：发送缓冲区的指针。 - `sendcount`：要发送的数据的数量。 - `sendtype`：要发送的数据的类型。 - `dest`：目标进程的标识符。 - `sendtag`：发送消息的标签。 - `recvbuf`：接收缓冲区的指针。 - `recvcount`：要接收的数据的数量。 - `recvtype`：要接收的数据的类型。 - `source`：发送消息的进程的标识符。 - `recvtag`：接收消息的标签。 - `comm`：通信子。 - `status`：接收消息的状态。 该函数的作用是将 `sendbuf` 中的 `sendcount` 个数据按照 `sendtype` 类型发送给进程 `dest`，并从进程 `source` 接收数据到 `recvbuf` 中，数据类型为 `recvtype`，数量为 `recvcount`，接收消息的标签为 `recvtag`，发送消息的标签为 `sendtag`，通信子为 `comm`。 需要注意的是，`MPI_Sendrecv` 函数是一个阻塞函数，也就是说，它会一直等待直到发送和接收都完成。在函数返回后，可以通过 `status` 参数来获取接收消息的状态。 下面是一个简单的例子： ```c #include <mpi.h> #include <stdio.h> int main(int argc, char** argv) { int rank, size; int sendbuf, recvbuf; MPI_Status status; MPI_Init(&argc, &argv); MPI_Comm_rank(MPI_COMM_WORLD, &rank); MPI_Comm_size(MPI_COMM_WORLD, &size); if (rank == 0) { sendbuf = 123; MPI_Sendrecv(&sendbuf, 1, MPI_INT, 1, 0, &recvbuf, 1, MPI_INT, 1, 1, MPI_COMM_WORLD, &status); printf("Process %d sent %d and received %d\n", rank, sendbuf, recvbuf); } else if (rank == 1) { sendbuf = 456; MPI_Sendrecv(&sendbuf, 1, MPI_INT, 0, 1, &recvbuf, 1, MPI_INT, 0, 0, MPI_COMM_WORLD, &status); printf("Process %d sent %d and received %d\n", rank, sendbuf, recvbuf); } MPI_Finalize(); return 0; } ``` 上面的代码中，进程 0 向进程 1 发送数据 123，同时接收来自进程 1 的数据。进程 1 向进程 0 发送数据 456，同时接收来自进程 0 的数据。最终输出结果为： ``` Process 0 sent 123 and received 456 Process 1 sent 456 and received 123 ```

“相关推荐”对你有帮助么？

  • 非常没帮助
  • 没帮助
  • 一般
  • 有帮助
  • 非常有帮助
提交
评论 1
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值