Lotus的Sector处理的算法,从window SDR切换到了SDR。所谓的SDR,就是Stacked DRG (Depth Robust Graph,深度鲁棒图)。重点,就在于算法去掉了“window”。切换算法后,在intel的CPU上,Sector处理(Precommit phase1)阶段的时间非常长,超过了30个小时。Filecoin官方,推荐AMD的RX 3970x,Sector处理时间在4个小时左右。本文深入SDR的逻辑,分析Sector处理慢的原因。相关的逻辑实现在rust-fil-proof项目中,本文中使用的源代码的最后一个提交信息如下:
commit 14870d715f1f6019aba3f72772659e38184378bf
Author: Rod Vagg <rod@vagg.org>
Date: Fri Mar 20 22:30:18 2020 +1100
feat(filecoin-proofs): expose filecoin_proofs::pad_reader
回顾window SDR算法
window SDR算法中的window,就是每个Sector的数据,先分割成一个个128M的window。一个32G的Sector会划分成256个window。window和window之间相互独立。每个window,单独进行SDR的计算(labeling encode)。总共需要做4层(layer)。也就是说,独立的window之间,做4层运算。层与层之间满足SDR的关系。
SDR算法
相对window SDR,SDR的算法更加简单和粗暴。一个Sector,再也不划分window。整个Sector,进行SDR的计算,并且计算11层。相关源代码从storage-proofs/src/porep/stacked/vanilla/proof.rs的generate_labels函数开始。
计算SDR的