Alphafold2蛋白质三维结构预测AI工作站配置

AlphaFold2计算特点：
蛋白质三维结构预测是一项计算量非常巨大的任务，科学家多年的探索研究，形成了X射线晶体学法、核磁共振法、冷冻电镜等。
2021年底，谷歌的DeepMind团队的采用人工智能方法的AlphaFold2算法在生物界引起了极大的轰动，它能准确地预测蛋白质的结构，AlphaFold2是当今预测蛋白质3D结构的最强工具。它将被大量用于推动世界蛋白质研究向前发展。
 

AlphaFold2在国际蛋白质结构预测竞赛（CASP14）上精确地基于氨基酸序列预测蛋白质的3D结构。其准确性可以与使用冷冻电子显微镜（CryoEM）、核磁共振或 X 射线晶体学等实验技术解析的3D结构相媲美。

目前情况（大致统计）：
（1）Deepmind开源了AlphaFold2的源代码（推理部分）
（2）华盛顿大学开源了RoseTTRFold的源代码（推理部分）
（3）深势科技复现了AlphaFold的训练部分，并开源代码（训练和推理）
（4）上海天壤智能科技有限公司复现了TRfold训练部分和推理部分
（5）上海交大对AlphaFold2的推理代码进行了优化（推理并行版）
 

（一）AlphaFold2蛋白质结构预测计算特点
如何配置好硬件，最快速度完成训练、推理计算，首先分析其计算过程以及算法特点
 

图1 Alphafold2计算示意图
 

环节1 数据处理-序列特征生成计算特点

计算过程
总输入单个蛋白质序列FASTA格式（推理）；
通过搜索工具（jackHMMER/HHblits）分别对多个遗传数据库--执行隐马尔可夫模型的搜索生成MSA（序列-残基）；见图1
搜索的结构和序列产生的Pairing信息（残基-残基）；
通过HHsearch搜索的Template

计算与硬件配置分析
数据库搜索过程涉及数据库密集I/O读写，数据放到高速SSD硬盘上，数据量累积超过2TB，非常耗时，加速手段提升CPU计算速度。

硬件配置
CPU计算为主，内存要够大，或配备NVME SSD固态卡，容量4TB以上
 

环节2 神经网络预测计算特点

计算过程
利用多序列比对（MSA），把蛋白质的结构和生物信息整合到深度学习算法中，主要包括：神经网络EvoFormer和结构模块（Structure module）.
在EvoFormer中，主要是将图网络（Graph networks）和多序列比对（MSA）结合完成结构预测，Alphafold2使用Transformer结构，不管是MSA还是残基-残基对的信息更新都使用了Attention机制，结构模块的更新使用了三角法则，简化了计算的复杂度，准确率也提高了不少.
结构模块(Structure Module)主要工作是将EvoFormer得到的信息转换为蛋白质3D结构.
整个模型的Evoformer和Structure module部分都使用了Recycling，即将输出重新加入到输入在重复refinement，进行信息的精炼.
计算特点
上述计算过程用GPU更合理，对GPU要求是高显存带宽、大容量显存、大蛋白质计算通过将多GPU卡设置统一内存架构，大的显存可支持更大的计算数据存放

计算架构分析汇总

No	主要环节	任务分类	计算时间占总求解时间比例	计算特点	配置方案
1	序列特征生成	(a)多序列比对 (b)模板搜索	计算时间占总计算时间的大约60%	CPU计算 有限多核	高频CPU加速 4TB容量的NVME SSD盘
2	神经网络预测	(c)模型预测 (d)AMBER优化	计算时间占总计算时间的大约40%	单GPU计算（推理） 多GPU计算（训练）	显存容量大，支持更长序列蛋白计算（最大长度1500，大于300个残基） 多卡统一内存模式

（二）蛋白质结构预算AI工作站配置推荐2022v1
 

硬件配置具有以下特点：
1）配备CPU规格均以高频为主，兼顾足够CPU核数，这样保证数据预处理（最慢的环节），计算时间大幅缩短，GPU卡采用单精度指标高的、显存容量大的，保证神经预测计算加速，满足AlphaFold2的理想的配置方案
2）整机的cpu、gpu、硬盘配置，满足AlphaFold2推理（包括上海交大并行版）计算要求，均衡无死角，性能最大化；
3）为深势科技的Uni-Fold训练、推理模块提供理想配置架构；
4）每个配置机器做到即开即用，并提供硬件+优化+稳定高速运行技术支持服务
5）支持大规模的计算扩展应用需求

2.1 蛋白质结构预测工作站配置参考

NO	品牌与型号	配置规格	价格
1	GA310i 15064-MCT	intel 12代高频处理器（共计16核，8核@5.0GHz，8核@4.2GHz/96GB DDR4/ RTX3090 24GB/480GB SSD/3.84TB PCIe.SSD/6TB SATA企业级/微塔式(1500w)/24寸-2K显示器	57500	AF2推理型
2	GA310i 150128-MCE	intel 12代高频处理器（共计16核，8核@5.0GHz，8核@4.2GHz/128GB DDR4/A6000 48GB/480GB SSD/3.84TB PCIe.SSD/8TB SATA企业级/微塔式(1500w)/24寸-2K显示器	80500	AF2推理顶配型
3	GT420i 139192-MCE	Xeon 银4316处理器（共计20核，3.9GHz) /192GB DDR4/A6000 48GB/480GB SSD /3.84TB PCIe.SSD/8TB SATA企业级/微塔式(1500w)/24寸-2K显示器	89990	并行优化加速型
4	GT420i 139128-MC2T	Xeon 银4316处理器（共计20核，3.9GHz) /128GB DDR4/2*RTX3090 24GB/480GB SSD/3.84TB PCIe.SSD/16TB SATA企业级/微塔式(1500w)/24寸-2K显示器	99990	多任务高速型
5	GT420i 139384-MC2E	Xeon 银4316处理器（共计20核，3.9GHz）/384GB DDR4/2*A6000 48GB/1TB SSD /3.84TB PCIe.SSD/8TB SATA企业级/微塔式(1500w)/24寸-2K显示器	148000	多任务大规模计算型
6	GX650M 239256-MC4T	2*Xeon 银4316处理器（共计40核，3.9GHz )/256GB DDR4/4*RTX3090 24GB /1TB SSD/3.84TB PCIe.SSD/16TB SATA企业级/双塔式(2000w)/24寸-2K显示器	185000	多任务高速加强型
7	GX650M 239512-MC4E	2*Xeon 银4316处理器（共计40核，3.9GHz )/512GB DDR4/4*A6000 48GB /1TB SSD /3.84TB PCIe.SSD/2*16TB SATA企业级/双塔式(2000w)/24寸-2K显示器	275000	全能加速型
8	GX650M 239512-MC7T	2颗Xeon 银4316处理器(共计40核,3.9GHz )/512GB DDR4/7*RTX3090 24GB /1TB SSD /3.84TB PCIe.SSD/18TB SATA企业级/双塔式(2000w)/24寸-2K显示器	289000	多任务超大规模加强型/
9	GX650M 2371T-MC6E	2颗Xeon 金5320处理器（共计52核，3.7GHz)/1TB DDR4/6*A6000 48GB /2TB SSD/3.84TB PCIe.SSD/2*18TB SATA企业级/双塔式(2000w)/24寸-2K显示器	399990	推理/训练多任务高速型
10	GX650M 2351T-MC8E	2颗Xeon 铂金8358处理器（共计64核，3.5GHz)/1TB DDR4/8*A6000 48GB /2TB SSD/7.68TB PCIe.SSD/2*18TB SATA企业级/双塔式(2000w)/24寸-2K显示器	499990	推理/训练极致型

2.2 AlphaFold训练集群配置参考

 
集群技术特点
（1）本集群是由高频服务器、GPU计算服务器、管理服务器、并行存储服务器组成。
（2）集群硬件配置每个环节都基于人工智能预测蛋白质三维结构算法最快优化设计。
（3）【高频服务器】采用有限多核高频CPU、高速NVME SSD用于密集海量序列比计算，计算性能和io读写性能完美匹配高效，支持多个单核计算或2个以上并行版的比对软件同步计算。
（4）【GPU计算服务器】配备最新Xeon3代处理器，32核+8块RTX A6000 48GB，cpu频率和pcie 4.0 x16是蛋白质折叠人工智能并行计算最理想架构。
（5）作业调度软件针对蛋白质预测元计算两个主要环节：序列比对计算（CPU有限多核计算环节）、人工智能预测（GPU多卡并行计算环节），
序列比对计算环节--调用【高频服务器】处理，
蛋白质结构预测计算环节--调用多台【GPU服务器】并行计算。
（6） 集群性能从硬件架构、作业调度系统均比常规集群性能达到极致，全新改写的作业调度系统，比市面上的作业调度系统效率更高。

方案1 蛋白质智能预测集群方案（40块GPU卡）

NO	型号	技术规格	数量	单价	小计
1	高频计算服务器	intel 12代高频处理器（共计16核，8核@5.0GHz，8核@4.2GHz) /128GB DDR4/480GB/3.84TB U2.SSD /4U机架式(650w)/25GbE网口	1	32000	32000
2	GPU超算服务器	2颗Xeon 银4314（32核@3.5GHz）/512GB/8块A6000 /960GB/4U机架式(2000w  2+2冗余/25GbE网口	5	458000	2290000
3	并行存储服务器	2颗Xeon 银4310(24核@2.1GHz)/128GB /960GB /3.84TB U2 NVME /224TB并行存储(双通道)/4U机架式(1200w 1+1冗余/100GbE网口	1	115000	115000
4	管理服务器	2颗Xeon 银4210 /128GB /Quadro P2000/ 1.92TB/2U机架式/千兆	1	35000	35000
5	计算交换机	MSN2010 4*100G/18*25G，2U机架式	1	45000	45000
6	管理交换机	24口千兆，1U机架式	1	2800	2800
7	KVM切换器	16口 VGA，1U机架式	1	1800	1800
8	机柜	42U	1	5500	5500
9	集群系统	UltraLAB PSS作业调度管理软件(5节点）	1	50000	50000
	合计	贰佰伍拾柒万柒仟壹佰		￥2,577,100元

 

方案2 蛋白质智能预测集群方案（80块GPU卡）

NO	型号	技术规格	数量	单价	小计
1	高频计算服务器	2颗Xeon 银4316处理器（40核@3.9GHz，睿频4.4GHz) /512GB DDR4/480GB/3.84TB U2.SSD /4U机架式(650w)/ 25GbE网口	1	75000	75000
2	GPU超算服务器	2颗Xeon 银4314（32核@3.5GHz）/512GB/8块A6000 /960GB/4U机架式(2000w  2+2冗余/25GbE网口	10	458000	4580000
3	并行存储服务器	2颗Xeon 银4310(24核@2.1GHz)/128GB /960GB /3.84TB U2 NVME /224TB并行存储(双通道)/4U机架式(1200w 1+1冗余/100GbE网口	1	115000	115000
4	管理服务器	2颗Xeon 银4210 /128GB /Quadro P2000/ 1.92TB/2U机架式/千兆	1	35000	35000
5	计算交换机	MSN2010 4*100G/18*25G，2U机架式	1	45000	45000
6	管理交换机	24口千兆，1U机架式	1	2800	2800
7	KVM切换器	16口 VGA，1U机架式	1	1800	1800
8	机柜	42U	2	5500	11000
9	集群系统	UltraLAB PSS作业调度管理软件(10节点）	1	100000	100000
	合计	肆佰玖拾陆万伍仟陆佰		￥4,965,600元

 

方案3 蛋白质智能预测集群方案（128块GPU卡）

	型号	技术规格	数量	单价	小计
1	高频计算服务器	2颗Xeon 银4316处理器（40核@3.9GHz，睿频4.4GHz) /512GB DDR4/480GB/3.84TB U2.SSD /4U机架式(650w) /25GbE网口	1	75000	75000
2	GPU超算服务器	2颗Xeon 银4314（32核@3.5GHz）/512GB/8块A6000 /960GB/4U机架式(2000w  2+2冗余/25GbE网口	16	458000	7328000
3	并行存储服务器	2颗Xeon 银4310(24核@2.1GHz)/128GB /960GB /3.84TB U2 NVME /224TB并行存储(双通道)/4U机架式(1200w 1+1冗余/100GbE网口	1	115000	115000
4	管理服务器	2颗Xeon 银4210 /128GB /Quadro P2000/ 1.92TB/2U机架式/千兆	1	35000	35000
5	计算交换机	MSN2010 4*100G/18*25G，2U机架式	1	45000	45000
6	管理交换机	24口千兆，1U机架式	1	2800	2800
7	KVM切换器	16口 VGA，1U机架式	1	1800	1800
8	机柜	42U,含PUD，托盘，	3	5500	16500
9	集群系统	UltraLAB PSS作业调度管理软件(16节点）	1	150000	150000
	合计	柒佰柒拾陆万玖仟壹佰		￥7,769,100元

 欢迎测试验证