在OpenMPI与Infiniband结合使用时遇到错误，提示只有部分物理内存可注册。通过查阅资料了解到，这与log_num_mtt和log_mtts_per_seg参数有关。计算最大注册内存的公式为：PAGE_SIZE * 2^(log_num_mtt + log_mtts_per_seg)。通过修改/modeprobe.d/mlx4_en.conf文件设置log_num_mtt值，例如设置为23以支持256GB内存，并重启服务，问题得到解决。
在使用OpenMPI和Infiniband的过程中，出现了以下的错误，相信有些同事也会出现相同的问题，经过研究，解决了该问题，这里把相关的解决方法贴出来和大家分享。问题描述如图：
大概意思是，机器有256GB的内存，但是却只有32GB的内存可以使用。内存使用被限制了，可能会妨碍性能的发挥，也可能crash！
通过它给的链接，发现如下信息：
OpenFabrics network vendors provide Linux kernel module parameters controlling the size of the size of the memory translation table (MTT) used to map virtual addresses to physical address. The size of this table controls the amount of physical memory that can be registered for use with OpenFabrics devices. In general, two parameters are provided to control the size of this table:
最低0.47元/天 解锁文章
3082
被折叠的 条评论
为什么被折叠?
到【灌水乐园】发言
