ASC18世界大学生超算竞赛题目分析以及思路总结

    2018年ASC预赛在3月20日已经结束，从开始报名到最后的提交proposal大概经过了四个月左右的样子，然后最终的成绩大概在30名吧，决赛名额只取前20，所以无缘南昌啦。其实对决赛的执念还是很大的，在最后一个月里，可以说拼尽全力了，心里也有过在决赛打破世界纪录的想法，越是怀有这种执念，在实验室的时间就过得越快，时间过去很久，心情也难以平静，提交结果的时候，感觉所有的一切都很完美了，该做的都做了，结果出来之后，感觉的是所有的一切都还可以在改进，也许差的就是那些细节呢。

    接下来对本次比赛的题目给出一定程度的总结，仅代表个人观点，因为大赛的某些题目形式较为固定，参加比赛的同学也许可以作为借鉴。

    首先，因为是国际比赛的缘故，比赛文档要求全英文描述，并且除了proposal外，要格外注意附加的文件（RELION以及最后一个深度学习题目需要的文件），这些文件对你的题目得分高低影响非常大（我认为远大于提案中华丽的描述）。

第一部分：背景介绍

    这一部分占5分（预赛总分100），主要描述所在大学的超算背景，要求描述的内容如下：

1.超算相关的硬件软件平台。

2.超算的相关课程，培训以及兴趣小组。

3.超算相关的研究和应用。

4.超算研究的成果以及相关证明材料。

    对于以上的描述，如果有最好，如果没有也不必慌张，ASC作为国际比赛，势必不会为难没有超算环境但持有积极态度的参赛选手，据我所知，历届比赛的评分方式大致分为两类：一，统一平台，分配环境相同的集群（例如，一个队伍一个节点），2017年的预赛就是要求在太湖之光的超算集群上搭建环境，这种情况下，后面的题目会进行横向的比较，比如说，你的HPL跑了800Gflops，然后其他队伍在相同的环境下跑了900Gflops，那么在这道题目上，前者就有可能得到更高的分数（不排除文档描述条例清晰然后反杀的情况）。二，不提供统一平台，今年的就是这种情况，此时，参赛队伍可以使用手中的可用资源完成任务，使用学校的超算集群或者租集群使用，同时，因为环境的不同，应该不会对同一题目进行横向比较（这一点在培训会上也有所说明），但是需要注意的是，题目明确说明根据结果评分的会做横向对此（例如，今年的机器学习就是根据最终的准确率评分）。

第二部分：团队介绍

    这一部分占5分，主要描述你的优秀团队，要求描述的内容如下：

1.简介团队的建设过程。

2.团队成员介绍（记得放一张帅气合照）。

3.团队口号。

    对于以上描述，我认为，无论有没有超算方面过硬的专业技术，都应该表现出团队对本次比赛的积极态度以及对打进决赛的信念，这部分的分数应该是不能丢的，不过多介绍啦。

 

第三部分：技术方案

    这一部分占90分，也是比赛的主要内容，分为四部分：

1.HPC系统构建 

2.Linpack测试（可能还会有其他的性能测试）。 

3.大题，类型不定，去年是海浪模拟，今年是冷冻电镜RELION。 

4.大题，类型相对固定，机器学习方面，去年是交通预测，今年是搜索查询的答案预测。在本文中不对本题进行分析。

    接下来分别描述解决思路以及结果，大部分的内容是我们的预赛提案，现在看来也是有很多不足之处，在这里仅供参考吧。

1. HPC系统构建

    这一部分占15分，要求如下所示：

1.在3000瓦功率预算内，您的系统应设计为实现最佳计算性能。

2.指定您的系统的软件和硬件配置和互连。描述功耗，评估性能，并分析您提出的架构的优缺点。

3.您的系统应该基于浪潮NF5280M5服务器。下表中列出的组件将由浪潮提供给进入最终的团队（配置可能会改变）。其他组件（除了服务器本身）是可以接受的，但是应该由团队自行准备。例如，您可以更改NF5280M5服务器和加速器的数量，硬盘和内存的类型，甚至可以在您提出的配置中更改以太网的类型。

 

项目	名称	配置
服务器	浪潮NF5280M5	CPU：Intel Xeon Gold 6132 x 2,2.6GHz，14核 内存：16G x 12，DDR4,2666Mhz 硬盘：1T SATA x 1 功耗估算： 6132 TDP 140W，内存7.5W，硬盘10W
HCA卡	FDR	Infiniband MellanoxConnectX®-3 HCA卡，单端口QSFP，FDR IB 功耗估算：9W
switch	千兆交换机	10/100 / 1000Mb / s，24端口以太网交换机 功耗估算：30W
	FDR-IB交换机	SwitchX™FDR InfiniBand交换机，36个QSFP端口 功耗估算：130W
电缆	千兆CAT6电缆	CAT6铜电缆，蓝色，3米
	Infiniband电缆	Infiniband FDR光缆，QSFP端口，协作 与Infiniband开关一起使用

    本题要求功率限制在3000W以内，并且给出了服务器的参数，我们需要从他提供的项目中选择需要的设备来组装集群，需要注意的是，这里并没有给出GPU类型，我们可以选择最高端的GPU来提升集群的性能，构建HPC所需要的设备在决赛中由官方提供。

    这里给出我们的设计，仅供参考。    

 

 

 

 

 

 

 

 

    这里说明一下，我们设计了两种模式，CPU模式下，理论峰值很低，13.977Tflops，GPU模式下，因为GPU过于强大的缘故，理论上达到56Tflops，在比赛结束过后，我想了下，应按是没有必要设计两种模式的，仅GPU模式足够，无论是Linpack测试还是完成后面的题目，完全够用了。

    还有一点不足，题目中给出的3000W是实际功率，而我们设计的集群最高功率不超过3000W，虽说这样肯定不会违背要求，但同时也一定放弃了部分性能，在历届的决赛中，参赛队伍使用了降低功耗的方法，也只有这样，才能在3000W以内获得最佳性能。

 

2. HPL和HPCG

    这一部分占15分，涉及超算集群性能测试方法。

    本题要求的描述包括软件环境（操作系统，编译器，数学库，MPI软件，软件版本等），测试方法，性能优化方法，性能评估，问题和解决方案分析等。

    有关于HPL的测试方法资料非常丰富，但是HPCG的资料几乎没有，这里推荐去HPCG官网学习。

    下面给出我们的测试方法以及结果。

 

 

 

 

 

 

 

 

 

 

 

 

    需要注意的是使用HPCG测试所得的性能远远低于HPL所得的性能，所以，在这里我们使用了它们的比值进行性能评判，这一方法在国际上进行性能测试时也有使用。

3. RELION测试

    题目描述很长，这里就不粘贴了，这道题占30分，需要按照步骤得到最终的输出文件，要求分辨率小与3.3埃，这是硬性规定，除此之外，尽可能的优化，使其在尽可能短的时间内跑完所有步骤，优化可以有很多方面，硬件资源的优化，RELION软件本身使用方法的优化，以及RELION源代码的优化，下面给出我们的测试方法以及优化方法。

 

 

    使用Vtune进行程序热点测试的结果在这里就不展示了。

 

    ASC18预赛就总结到这里啦，其实比赛最大的感受就是学会了看文档，确实百度谷歌可以看到很多大牛的见解，或者看到很多漂亮的论文，但是回过头来看，官方的文档已经把大部分的信息摆出来了，把这些信息利用好，就已经可以得到不错的结果了，当然除了这些，还需要有强大的创新能力，实践能力，大概才能在比赛中取得优秀的成绩吧！

     有不合适之处，敬请指正，共同学习。