HPCC基础配置安装实践教程(个人操作实录为例),仅供大家学习参考研究用。测试所在操作系统为RHEL6.2。
说明和须知:
1. HPCC 配置方法不是唯一的,可以有合理的区别,但大体差不多,故无需和 下面要介绍的完全一致;
2. 下面内容为个人初步实践和测试的结果,仅供参考;
3. 硬件前提:多节点的集群(单个节点也可以跑 HPCC 但意义不大); 软件前提:Intel MPI, MKL, HPCC.
正文如下:
1. 解压 hpcc-1.4.3.tar.gz 至测试目录;(此处有个小建议,可专门 mkdir 两个文件 夹,一个用来放源程序,一个用来测试实践,如下图)
2. 进入目录 TestByFeng0130/hpcc-1.4.3/hpl/setup,拷贝 Make.LinuxIntelIA64Itan2_eccMKL(拷贝其他文件,做合理的修改和配置也 是可以的)至上一级目录,即 hpl/中,建议修改名字为 Make.MKL,之后开始编辑该文件,结合我个人的 impi 和 MKL 的情况,修改后结果如下(只列需修改的位置):
3. 之后,开始编译和安装,在 hpl 的上一级目录即 hpcc-1.4.3/下,make arch=MKL, 坐等几十秒,成功(如果出现 error,请根据 error 信息作相应处理),可以发 现该目录下生成了文件 hpcc(权限:可执行文件),这就是 HPCC 测试所需要的核心应用程序;
4. hpcc 二进制文件诞生之后,就可以开跑 HPCC 了,单节点的就不说了,直接开始多节点并行,针对 Intel MPI(impi)而言,需先 mpdboot 并行的节点池, touch 一个新文件 mpdhosts(文件名随意,只要前后对应即可),mpdhosts 里可这样写道:
接着执行 mpdboot –n 4 –f mpdhosts (没任何输出,则为成功) 可用 mpdtrace –l 测试,是否真正成功,结果如下:
5. 真正的开始,前面都无误后,mpiexec -ppn 16 -n 64 ./hpcc <hpccinf.txt ,在执行的过程中,可以同时 top 一下,看一下并行的情况;之后运行结束,所需的结果就在 hpccoutf.txt 呈现着了;(至此,只是初步做了个测试)
6. _hpccinf.txt 是提供好的输入 sample 文件,可在其基础上,结合自身集群硬件的实际情况,主要涉及内存和你想运算的问题的规模来修改里面相对应的数值即可,另外的并行还可以通过 export OMP_NUM_THREADS=<omp 线程数> 等其他方式,来加上 OpenMP 的并行(个人根据输出文件的列表发现并推测的),当然,更多的还需要后续的不断调试和优化来获得一个nice的结果。
------ END -----