MITgcm 编译安装测试说明

科学计算软件编译安装方法说明 --- MITgcm 篇 （提供免费测试 QQ 178068275）

 

 

 

官网地址：

http://mitgcm.org/

截止目前（2017.5.4）最新版本：

MITgcm_c66g.tar.gz

下载：

http://mitgcm.org/public/source_code.html

最新版手册 

http://mitgcm.org/public/r2_manual/latest/

 

1. 什么是MITgcm?

麻省技术研究所的环流模式，模拟大尺度海洋环流。

 

2.  编译环境

Intel Compiler /GNU Compiler  + MPI Compiler

3. 安装 Intel Compiler 编译器，设置编译环境

如果使用的是Intel的CPU，建议使用Intel的编译器。

详细安装方法参见博客相关文章。

 

例如使用TH-1A的Intel 2013编译器编译，可以加载如下环境变量：

source /opt/intel/composer_xe_2013.0.079/bin/iccvars.sh intel64    
source /opt/intel/composer_xe_2013.0.079/bin/ifortvars.sh intel64  
source /opt/intel/composer_xe_2013.0.079/mkl/bin/mklvars.sh intel64  

4.安装 MPI Compiler，设置编译环境

编译并行版的程序需要并行编译器，例如MPI并行的程序需要MPI编译器，常用的MPI例如Intel MPI 、MPICH 、OPENMPI等。

不同的机器可能针对自身硬件进行MPI优化，天河系统的MPI是基于开源MPICH进行的二次开发优化，进而支持性能卓越的天河自主高速互联网络。

详细安装方法参见博客相关文章。

 

例如使用TH-1A的Intel 2013编译器编译的mpich，可以加载如下环境变量：

export MPI_HOME=/usr/local/mpi-intel2013    
export PATH=$MPI_HOME/bin:$PATH    
export LD_LIBRARY_PATH=$MPI_HOME/lib:$LD_LIBRARY_PATH  

 

5.编写-of指向的文件linux_amd64_ifort_mpich 

在MITgcm_c66g/tools/build_options目录有很多已经写好的配置文件，它们是针对不同的编译环境而编写的，故我们针对TH-1A的系统环境，编写了适用于我们的配置文件，名称为：linux_amd64_ifort_mpich。

具体内容为：

#!/bin/bash
#
# $Header:
$HOME/software/MITgcm/MITgcm_c66b/tools/build_options/linux_amd64_ifort+mpich,v 1.0 2016/12/14 16:47:3 zhenggang $
# $Name: checkpoint66b ??? $#
# Build options for ifort with mpich on Linux AMD64 platform
#
# Tested on TH-1A (NeoKylin 3.2) with ifort 13.0.1 and mpich 3.0.4
#--------------------------------------------------------------------#
# CC FC F90C LINK
#--------------------------------------------------------------------#
MPI='true'
CC=mpicc
FC=mpif77
F90C=mpif90
LINK="$F90C -shared-intel -no-ipo"
#--------------------------------------------------------------------#
# DEFINES F90FIXEDFORMAT EXTENDED_SRC_FLAG GET_FC_VERSION OMPFLAG
#--------------------------------------------------------------------#
DEFINES='-DALLOW_USE_MPI -DALWAYS_USE_MPI -DWORDLENGTH=4'
F90FIXEDFORMAT='-fixed -Tf'
EXTENDED_SRC_FLAG='-132'
GET_FC_VERSION="--version"
OMPFLAG='-openmp'
#--------------------------------------------------------------------#
# CPP
#--------------------------------------------------------------------#
CPP='cpp -traditional -P'
#--------------------------------------------------------------------#
# NOOPTFLAGS NOOPTFILES
#--------------------------------------------------------------------#
NOOPTFLAGS='-O0 -g'
NOOPTFILES=''
#--------------------------------------------------------------------#
# CFLAGS
#--------------------------------------------------------------------#
PROCF='-xHost'
CFLAGS="-O3 -ip -m64 -no-offload -fno-alias -ansi-alias -override-limits $PROCF"
#--------------------------------------------------------------------#
# FFLAGS F90FLAGS
#--------------------------------------------------------------------#
# FFLAGS
# details in the end of this file
FFLAGS="$FFLAGS -m64 -convert big_endian -assume byterecl -mcmodel=medium
-shared-intel -no-offload -fno-alias -ansi-alias -override-limits $PROCF"
F90FLAGS="$FFLAGS"
#--------------------------------------------------------------------#
# F90OPTIM
#--------------------------------------------------------------------#
# from linux_amd64_ifort+impi
if test "x$IEEE" = x ; then #- with optimisation:
    FOPTIM="-O2 -align -ip -fp-model source $PROCF"
else
    if test "x$DEVEL" = x ; then #- no optimisation + IEEE :
        FOPTIM="-O0 -fp-model source -noalign $PROCF"
    else #- development/check options:
        FOPTIM="-O0 -noalign -g -traceback $PROCF"
        NOOPTFLAGS=$FOPTIM
        NOOPTFILES='adread_adwrite.F mdsio_rw_field.F mdsio_rw_slice.F'
        FOPTIM="$FOPTIM -warn all -warn nounused"
        FOPTIM="$FOPTIM -fpe0 -ftz -fp-stack-check -check all -ftrapuv"
    fi
fi
F90OPTIM=$FOPTIM
#--------------------------------------------------------------------#
# set net-cdf / MPIetc.
#--------------------------------------------------------------------#
# for TH-1A
INCLUDEDIRS=''
INCLUDES=''
LIBS=''
# --------------------------
# NETCDF DIRECTORIES
# --------------------------
HDF5_HOME=/vol-th/software/io_tools/hdf5/mpi/1.8.11
NETCDF_HOME=/vol-th/software/io_tools/netcdf/mpi/4.1.2
INCLUDES="-I$NETCDF_HOME/include -I$HDF5_HOME/include"
LIBS="-L$NETCDF_HOME/lib -lnetcdff -lnetcdf -I$HDF5_HOME/include -lhdf5_hl -lhdf5"
# -----------------------
# INCLUDE MPI DIRECTORIES
# -----------------------
# mpich3.0.4-intel2013
MPI_HOME=/usr/local/mpi-intel2013
INCLUDES="$INCLUDES -I$MPI_HOME/include"
INCLUDEDIRS="$INCLUDEDIRS $MPI_HOME/include"
LIBS="$LIBS -L$MPI_INC_DIR -lmpich"
#- used for parallel (MPI) DIVA
MPIINCLUDEDIR="$MPI_INC_DIR

大家可以针对build_options中提供的模板以及自己机器的配置，修改一个适合自己机器的模板内容，也欢迎讨论交流。

6.编译

以exp2为例：

cd /path/to/MITgcm_c66g/verification/exp2/build
../../../tools/genmake2 -mods=../code -mpi -of=../../../tools/build_options/linux_amd64_ifort_mpich
make depend
make

编译后生成可执行文件：

mitgcmuv

7.单核本地测试

先声明环境变量（注意区分文件系统），这个针对相关库不在默认路径的情况（例如netcdf库）。如果不设置环境，容易出现找不到动态库的情况。

export LD_LIBRARY_PATH=/vol-th/software/io_tools/netcdf/mpi/4.1.2/lib:$LD_LIBRARY_PATH
export LD_LIBRARY_PATH=/vol-th/software/io_tools/hdf5/mpi/1.8.11/lib:$LD_LIBRARY_PATH
export LD_LIBRARY_PATH=/vol-th/intel_composer_xe_2013.0.079_lib:/vol-th/lib:$LD_LIBRARY_PATH

运行测试算例：

cd ../run
cp ../input/* ./
cp ../build/mitgcmuv ./
./mitgcmuv > output.txt

8.多核测试

如果是普通的集群，那么使用通常的mpirun命令即可，如果有作业管理系统，编写作业提交脚本即可。下面举例说明如何在TH-1A系统下提交作业计算：

1）编写提交脚本sub.sh

#!/bin/bash  
yhrun -N 2 -n 24 -p debug ./mitgcmuv > output.txt

说明：

-N 节点数；-n 核数；-p 分区；./mitgcmuv 为刚刚编译的可执行文件；output.txt 为定向输出文件。

2）提交任务

yhbatch -N 2 -n 24-p debug sub.sh  

3）查看输出
计算完成后会在output.txt文件中生成结果文件。

欢迎交流！