CESM mpirun noticed that process rank 1 with PID 0 on node ubuntu exited on signal 11

最新推荐文章于 2023-05-10 19:59:19 发布
最新推荐文章于 2023-05-10 19:59:19 发布
阅读量6k 收藏 1
点赞数 6
分类专栏： CESM
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/victorialy/article/details/119513302
版权

这是个笔记

在移植CESM的时候，我想着我的服务器比较强，所以希望同时跑两个案例。
在我跑第二个案例的时候 “./case.submit”，出现以下错误：

我的案例及其编译器

./create_newcase --case 1850CLM50Bgc_gnu_cesm --res f19_g16 --compset I1850Clm50Bgc --run-unsupported --compiler gnu --mach mygnu

2021-08-08 12:21:36 MODEL EXECUTION BEGINS HERE
run command is mpirun  -np 4  /home/ubuntu/cesm/scratch/1850CLM50Bgc_gnu_cesm/bld/cesm.exe  >> cesm.log.$LID 2>&1  
ERROR: RUN FAIL: Command 'mpirun  -np 4  /home/ubuntu/cesm/scratch/1850CLM50Bgc_gnu_cesm/bld/cesm.exe  >> cesm.log.$LID 2>&1 ' failed
See log file for details: /home/ubuntu/cesm/scratch/1850CLM50Bgc_gnu_cesm/run/cesm.log.210808-122133

运行代码 “cat /home/ubuntu/cesm/scratch/1850CLM50Bgc_gnu_cesm/run/cesm.log.210808-122133”，查看cesm日志。

 Invalid PIO rearranger comm max pend req (comp2io),            0
 Resetting PIO rearranger comm max pend req (comp2io) to           64
 PIO rearranger options:
   comm type     =p2p                                                                             
   comm fcd      =2denable                                                                        
   max pend req (comp2io)  =           0
   enable_hs (comp2io)     = T
   enable_isend (comp2io)  = F
   max pend req (io2comp)  =          64
   enable_hs (io2comp)    = F
   enable_isend (io2comp)  = T
(seq_comm_setcomm)  init ID (  1 GLOBAL          ) pelist   =     0     3     1 ( npes =     4) ( nthreads =  1)( suffix =)
(seq_comm_setcomm)  init ID (  2 CPL             ) pelist   =     0     3     1 ( npes =     4) ( nthreads =  1)( suffix =)
(seq_comm_setcomm)  init ID (  5 ATM             ) pelist   =     0     3     1 ( npes =     4) ( nthreads =  1)( suffix =)
(seq_comm_joincomm) init ID (  6 CPLATM          ) join IDs =     2     5       ( npes =     4) ( nthreads =  1)
(seq_comm_jcommarr) init ID (  3 ALLATMID        ) join multiple comp IDs       ( npes =     4) ( nthreads =  1)
(seq_comm_joincomm) init ID (  4 CPLALLATMID     ) join IDs =     2     3       ( npes =     4) ( nthreads =  1)
(seq_comm_setcomm)  init ID (  9 LND             ) pelist   =     0     3     1 ( npes =     4) ( nthreads =  1)( suffix =)
(seq_comm_joincomm) init ID ( 10 CPLLND          ) join IDs =     2     9       ( npes =     4) ( nthreads =  1)
(seq_comm_jcommarr) init ID (  7 ALLLNDID        ) join multiple comp IDs       ( npes =     4) ( nthreads =  1)
(seq_comm_joincomm) init ID (  8 CPLALLLNDID     ) join IDs =     2     7       ( npes =     4) ( nthreads =  1)
(seq_comm_setcomm)  init ID ( 13 ICE             ) pelist   =     0     3     1 ( npes =     4) ( nthreads =  1)( suffix =)
(seq_comm_joincomm) init ID ( 14 CPLICE          ) join IDs =     2    13       ( npes =     4) ( nthreads =  1)
(seq_comm_jcommarr) init ID ( 11 ALLICEID        ) join multiple comp IDs       ( npes =     4) ( nthreads =  1)
(seq_comm_joincomm) init ID ( 12 CPLALLICEID     ) join IDs =     2    11       ( npes =     4) ( nthreads =  1)
(seq_comm_setcomm)  init ID ( 17 OCN             ) pelist   =     0     3     1 ( npes =     4) ( nthreads =  1)( suffix =)
(seq_comm_joincomm) init ID ( 18 CPLOCN          ) join IDs =     2    17       ( npes =     4) ( nthreads =  1)
(seq_comm_jcommarr) init ID ( 15 ALLOCNID        ) join multiple comp IDs       ( npes =     4) ( nthreads =  1)
(seq_comm_joincomm) init ID ( 16 CPLALLOCNID     ) join IDs =     2    15       ( npes =     4) ( nthreads =  1)
(seq_comm_setcomm)  init ID ( 21 ROF             ) pelist   =     0     3     1 ( npes =     4) ( nthreads =  1)( suffix =)
(seq_comm_joincomm) init ID ( 22 CPLROF          ) join IDs =     2    21       ( npes =     4) ( nthreads =  1)
(seq_comm_jcommarr) init ID ( 19 ALLROFID        ) join multiple comp IDs       ( npes =     4) ( nthreads =  1)
(seq_comm_joincomm) init ID ( 20 CPLALLROFID     ) join IDs =     2    19       ( npes =     4) ( nthreads =  1)
(seq_comm_setcomm)  init ID ( 25 GLC             ) pelist   =     0     3     1 ( npes =     4) ( nthreads =  1)( suffix =)
(seq_comm_joincomm) init ID ( 26 CPLGLC          ) join IDs =     2    25       ( npes =     4) ( nthreads =  1)
(seq_comm_jcommarr) init ID ( 23 ALLGLCID        ) join multiple comp IDs       ( npes =     4) ( nthreads =  1)
(seq_comm_joincomm) init ID ( 24 CPLALLGLCID     ) join IDs =     2    23       ( npes =     4) ( nthreads =  1)
(seq_comm_setcomm)  init ID ( 29 WAV             ) pelist   =     0     3     1 ( npes =     4) ( nthreads =  1)( suffix =)
(seq_comm_joincomm) init ID ( 30 CPLWAV          ) join IDs =     2    29       ( npes =     4) ( nthreads =  1)
(seq_comm_jcommarr) init ID ( 27 ALLWAVID        ) join multiple comp IDs       ( npes =     4) ( nthreads =  1)
(seq_comm_joincomm) init ID ( 28 CPLALLWAVID     ) join IDs =     2    27       ( npes =     4) ( nthreads =  1)
(seq_comm_setcomm)  init ID ( 33 ESP             ) pelist   =     0     0     1 ( npes =     1) ( nthreads =  1)( suffix =)
(seq_comm_joincomm) init ID ( 34 CPLESP          ) join IDs =     2    33       ( npes =     4) ( nthreads =  1)
(seq_comm_jcommarr) init ID ( 31 ALLESPID        ) join multiple comp IDs       ( npes =     1) ( nthreads =  1)
(seq_comm_joincomm) init ID ( 32 CPLALLESPID     ) join IDs =     2    31       ( npes =     4) ( nthreads =  1)
(seq_comm_printcomms)     1     0     4     1  GLOBAL:
(seq_comm_printcomms)     2     0     4     1  CPL:
(seq_comm_printcomms)     3     0     4     1  ALLATMID:
(seq_comm_printcomms)     4     0     4     1  CPLALLATMID:
(seq_comm_printcomms)     5     0     4     1  ATM:
(seq_comm_printcomms)     6     0     4     1  CPLATM:
(seq_comm_printcomms)     7     0     4     1  ALLLNDID:
(seq_comm_printcomms)     8     0     4     1  CPLALLLNDID:
(seq_comm_printcomms)     9     0     4     1  LND:
(seq_comm_printcomms)    10     0     4     1  CPLLND:
(seq_comm_printcomms)    11     0     4     1  ALLICEID:
(seq_comm_printcomms)    12     0     4     1  CPLALLICEID:
(seq_comm_printcomms)    13     0     4     1  ICE:
(seq_comm_printcomms)    14     0     4     1  CPLICE:
(seq_comm_printcomms)    15     0     4     1  ALLOCNID:
(seq_comm_printcomms)    16     0     4     1  CPLALLOCNID:
(seq_comm_printcomms)    17     0     4     1  OCN:
(seq_comm_printcomms)    18     0     4     1  CPLOCN:
(seq_comm_printcomms)    19     0     4     1  ALLROFID:
(seq_comm_printcomms)    20     0     4     1  CPLALLROFID:
(seq_comm_printcomms)    21     0     4     1  ROF:
(seq_comm_printcomms)    22     0     4     1  CPLROF:
(seq_comm_printcomms)    23     0     4     1  ALLGLCID:
(seq_comm_printcomms)    24     0     4     1  CPLALLGLCID:
(seq_comm_printcomms)    25     0     4     1  GLC:
(seq_comm_printcomms)    26     0     4     1  CPLGLC:
(seq_comm_printcomms)    27     0     4     1  ALLWAVID:
(seq_comm_printcomms)    28     0     4     1  CPLALLWAVID:
(seq_comm_printcomms)    29     0     4     1  WAV:
(seq_comm_printcomms)    30     0     4     1  CPLWAV:
(seq_comm_printcomms)    31     0     1     1  ALLESPID:
(seq_comm_printcomms)    32     0     4     1  CPLALLESPID:
(seq_comm_printcomms)    33     0     1     1  ESP:
(seq_comm_printcomms)    34     0     4     1  CPLESP:
 (t_initf) Read in prof_inparm namelist from: drv_in
 (t_initf) Using profile_disable=          F
 (t_initf)       profile_timer=                      4
 (t_initf)       profile_depth_limit=                4
 (t_initf)       profile_detail_limit=               2
 (t_initf)       profile_barrier=          F
 (t_initf)       profile_outpe_num=                  1
 (t_initf)       profile_outpe_stride=               0
 (t_initf)       profile_single_file=      F
 (t_initf)       profile_global_stats=     T
 (t_initf)       profile_ovhd_measurement= F
 (t_initf)       profile_add_detail=       F
 (t_initf)       profile_papi_enable=      F

Program received signal SIGSEGV: Segmentation fault - invalid memory reference.

Backtrace for this error:

Program received signal SIGSEGV: Segmentation fault - invalid memory reference.

Backtrace for this error:

Program received signal SIGSEGV: Segmentation fault - invalid memory reference.

Backtrace for this error:
#0  0x151e7878232a
#1  0x151e78781503
#2  0x151e77dff03f
#3  0x55d58d7cc3ed
#4  0x55d58d7c29da
#5  0x55d58d7bf712
#6  0x55d58d67cb71
#7  0x55d58d6e40d0
#8  0x55d58cf41888
#9  0x55d58cf3bab7
#10  0x55d58cec4b2e
#11  0x55d58ceb5d8f
#12  0x55d58cec20e0
#13  0x151e77de1bf6
#14  0x55d58cea84d9
#15  0xffffffffffffffff
#0  0x155370fb532a
#1  0x155370fb4503
#2  0x15537063203f
#3  0x5590caf743c1
#4  0x5590caf6a9da
#5  0x5590caf67712
#6  0x5590cae2619f
#7  0x5590cae8c0d0
#8  0x5590ca6e9888
#9  0x5590ca6e3ab7
#10  0x5590ca66cb2e
#11  0x5590ca65dd8f
#12  0x5590ca66a0e0
#13  0x155370614bf6
#14  0x5590ca6504d9
#15  0xffffffffffffffff
#0  0x14d229d6232a
#1  0x14d229d61503
#2  0x14d2293df03f
#3  0x55bbac8b93c1
#4  0x55bbac8af9da
#5  0x55bbac8ac712
#6  0x55bbac769b71
#7  0x55bbac7d10d0
#8  0x55bbac02e888
#9  0x55bbac028ab7
#10  0x55bbabfb1b2e
#11  0x55bbabfa2d8f
#12  0x55bbabfaf0e0
#13  0x14d2293c1bf6
#14  0x55bbabf954d9
#15  0xffffffffffffffff
--------------------------------------------------------------------------
mpirun noticed that process rank 1 with PID 0 on node ubuntu exited on signal 11 (Segmentation fault).
--------------------------------------------------------------------------

结果方案

其实什么错误都没有，只是工作站只能 submit 一个案例。关掉前一个，运行这一个就ok。写此博客第一为了做笔记，第二希望后面的人不要再像我一样，去查找解决方案，最后还没解决了。

永康李
关注
专栏目录
通用地球系统模式 CESM 1.2.2.1版本 源码包 cesm1_2_2_1-r91831.tgz_cesm模型
09-19
通用地球系统模式 CESM 1.2.2.1版本 源码包 cesm1_2_2_1-r91831.tgz 通用地球系统模式(CESM)是美国国家大气研究中心最新推出的地球系统耦合模式，对解决气候(地球)系统建模中所涉及的新挑战和新问题具有很大的帮助。
遇到mpi worker exited on signal 9
runzhliu大数据/容器日记
06-09 3042
运行一个 mpi-operator 的 demo（这个 demo 还是我提交的…），看到如下错误。 An MPI communication peer process has unexpectedly disconnected. This usually indicates a failure in the peer process (e.g., a crash or otherwise exiting without calling MPI_FINALIZE first). Although this
openmpi-mpirun报错
weixin_64426947的博客
05-10 1712
0找到libopen-pal.so.4添加到LD_LIBRARY_PATH中，可以在home下执行 apt-file search libopen-pal.so.4找到所在位置，没安装apt-file系统应该可以提示你安装，安装后在执行时并提示你进行update执行完后在查找应该就可以了。若不想直接添加libopen-pal.so.4，一般找到你将openmpi装到哪个文件夹下执行。注意：在运行mpirun 并行执行代码时，要在普通用户下执行该命令，否则不成功。执行以下操作，查看lib库。
MPI并行程序的调试技巧
热门推荐
yszheda的专栏
05-19 1万+
http://galoisplusplus.gitcafe.com/blog/2013/06/08/mpi-debug-tips/" style="width:100%; height:100%"> backup content
siesta在Linux运行,并行版的SIESTA不能运行
weixin_42515795的博客
05-04 483
编译能通过，但运行老是报错mpirun noticed that process rank 34 with PID 24030 on node fn043 exited on signal 11连tests里面的si64都报错，所以我觉得不是简单的内存问题。下面是我的make文件，请高手指教一下出了什么问题？是ldau版的.SUFFIXES:.SUFFIXES: .f .F .o .a .f90 ...
openmpi出现Segmentation Fault而终止运算
weixin_30247159的博客
05-05 1159
欢迎关注我的社交账号： 邮箱: jiangxinnju@163.com 博客园地址: http://www.cnblogs.com/jiangxinnju GitHub地址: https://github.com/jiangxincode 知乎地址: https://www.zhihu.com/people/jiangxinnju mpirun noticed that process r...
c语言mpi并行程序,[转]MPI并行程序的调试技巧
weixin_39550258的博客
05-20 997
debug一个并行程序(parallel program)向来是件很麻烦的事情(Erlang等functional programming language另当别论)，对于像MPI这种非shared memory的inter-process model来说尤其如此。与调试并行程序相关的工具非开源工具目前我所了解的商业调试器(debugger)有：据说parallel debug的能力很屌，本人没用...
cesm_SourceMods:CESM1（CAM5）的源代码修改-Source code modification
03-24
【cesm_SourceMods: CESM1 (CAM5) 源代码修改】 CESM，全称为Community Earth System Model，是一个开放源代码的地球系统模型，用于研究全球气候系统的复杂动态。该模型由美国国家大气研究中心(National Center for...
CLM4.5 in CESM1.2.0 User's Guide.pdf
最新发布
03-14
相对于2011年11月15日发布的CESM1.0.4版本，CLM4在CESM1.1.0中也做出了一些显著的改变： - **软件架构优化**：通过重构代码结构，提高了模型的稳定性和性能。 - **科学模拟进步**：基于最新的科学研究成果，对模型的...
CESM_postprocessing:基于CESM python的后处理代码，文档和问题跟踪的项目存储库
05-05
CESM_postprocessing 基于CESM python的后处理代码的项目存储库，通过Wiki的文档，以及问题跟踪。 此代码所需的输入数据集与此存储库分开。 访问这些数据集的说明即将发布。 对于NCAR用户，数据集已经加载到林间空地...
tas_day_CESM2-WACCM_ssp126_r1i1p1f1_gn_20350101-20441231.nc
12-21
CMIP6温度数据
树梅派搭建MPI集群
江晓狐的博客
05-01 2403
现有20个树梅派安装了Ubuntu20.04系统（arm64），但是连上了实验室的网线后，在同一网段下只可以搜得到16个，并成功登录。问题来了：那4个该怎么找到？ 可以把这20个逐个拆下，每拆一个，扫描一下网络内的主机，看看是不是有哪个IP掉线了，有的话，IP就对应上了。但需要注意的是，实验室的IP分配是动态的，同一根网线和同一个MAC地址的主机共同决定了一个IP，有一个变化时，IP都会变。（年前测试是这样的）。 总之，这样的办法太麻烦了，我凌晨3点多已经没有兴趣再搞了。过年后开学，实验室里有人拔掉了树梅派
be idle sometimes to_Bug #2689: gpu timer state not cleaned up - GROMACS - GROMACS development
weixin_28884213的博客
01-17 577
In the API MPI tests, on the CUDA+OpenCL config on bs_1310, the following intermittent problem can be seen when run with multiple ranks:00:09:11.740 [==========] Running 7 tests from 4 test cases.00:0...
Openmpi4.0版本的安装和集群多机器执行问题的解决方法
YFaris的博客
10-17 3429
Openmpi的官方下载地址：here Openmpi4.0版本的安装 解压文件并进行配置 tar -xvf openmpi-4.1.1.tar.gz cd openmpi-4.1.1 ./configure --prefix="/usr/local/openmpi" 安装 make -j sudo make install 配置环境: vim ~/.bashrc 或者 vim /etc/profile 均可以 export PATH="$PATH:/usr/local/openmpi/bi
评论 6
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值