聚英国际|【燎原计划技术周第六期】Filecoin网络集群概念架构分析

随着数字化进程的加速以及智能化的推进，企业产生的数据持续增长，数据呈海量、多元发展趋势。企业对数据的安全性和隐私性的要求也越来越高，当前的中心化数据存储的模式急需被改造，适应全新的互联网数据结构和日益膨胀的需求。Web3.0会是当代互联网迈向下一时代的自然进化，下一代互联网必须满足机器智能，万物互联的链接需求。当人们开始展望这个全新的Web3.0时代，都会发现当代数据存储体系与Web3.0的需求相背离，而这恰恰是分布式存储的巨大机遇，分布式存储势必成为Web3.0时代必要的支撑。
针对自主网上线以来社区较为关心的热议话题，十月底，我们启动了燎原计划，希望能够帮助大家更加清楚的了解IPFS&Filecoin。本周【燎原计划技术周】正在火热进行中，上一期我们了解了Filecoin数据存储流程及收益影响因素，其中关于成本和收益，即投资产出比很重要的一个环节，就是对集群技术的使用，这也是目前各大矿商重点布局的技术之一，也是各家技术运维竞争的核心点之一。本期我们继续为大家分享Filecoin网络集群概念架构分析，了解它为什么对FIL的收益会有如此之大的影响？燎原计划技术周第六期的精彩内容已经新鲜出炉，赶紧一起来看看吧！

精彩回顾

问：什么是集群架构？
答：集群架构是通过一组松散集成的计算机软件或硬件连接起来高度紧密地协作完成计算工作。在某种意义上，我们可以把集群架构看作是一台计算机。简单来说集群架构就是把不同的服务器的硬件和软件串联在一起同时工作的技术，优点是效率高、成本低。

问：Filecoin网络存储为什么要做集群架构？
答：主要原因有以下两点：
第一、Filecoin项目的算法和硬件配置需求只是现阶段的，未来可能会有所变动，如果只是使用单个服务器，灵活性太差，一旦网络变化，单体服务器可能需要被大范围替换，成本昂贵。而集群架构具有更强的适配性，可以随着网络的变化，灵活替换硬件以及软件，降低未来风险。
第二、在集群架构中，不同功能的硬件设备是分开的，如果想要扩容可以增加存储机，如果想提高计算速度可以增加密封机的数量，在这个过程中原有设备依旧能够维持服务，避免被网络惩罚。
集群架构主要由不同数量的节点机、Miner机、Seal机、证明机、存储机组成。
1、节点机
集群架构中节点机的功能主要是运行客户端lotus。
2、Miner机
Miner机主要是运行lotus-miner。
3、Seal机
Seal机的作用是做数据密封，密封存储是整个环节中非常重要的部分。
复制证明的密封过程又分为Seal preCommit 和Seal commit。
Seal preCommit 过程分为两个阶段，phase1和phase2,就是俗称的P1阶段和P2阶段。
P1是复制证明的第一阶段，之前经常有讨论到的SDR和NSE算法其实就是P1阶段的算法。SDR算法是复制证明中的一种特殊的算法，此算法的全称是Stacked DRG PoRep，此算法可以把数据编码成一个replica，此证明可以证明数据构建者向验证者证明了replica被存储。在SDR算法阶段使用AMD的CPU效率会更高。
矿工在此阶段使用的AMD的种类不同，算法优化的程度不同将会影响到密封存储的投入产出比，不过这里也并不是速度越快越好，要找到速度与投入直接的平衡，这需要大量的实验才可得出最佳结论。
Seal commit 也有两个阶段Seal commit phase 1和Seal commit phase 2，俗称C1阶段和C2阶段。
4、证明机
证明机主要功能是做zk-snark零知识证明的计算。在复制证明的P1,P2,C1阶段完成后（P1,P2,C1都是为了C2做准备），最后到C2做zk-snark的计算，这里将C2独立出来将提高资源利用率。
5、存储机
存储机主要用来存储有效的扇区数据，存储机后期的扩容能力在集群架构中很重要，所以支持弹性扩容存储的集群架构为最优方案。关于这一点需要注意的是，存储机存储数据的时候其实是有冗余存储的，冗余存储的意思就是他要用一份数据，要同时存储三份，也就是说本机存一份，备份两份，目的是为了保证数据的完整性、高可用性。以免出现单节点故障，导致数据丢失。这也是避免在IPFS和Filecoin网络中节点下线退出后，用户数据缺失的问题。
而且在集群架构中，不同种类的设备，配置比不同所发挥的功效就不同。各个服务器厂商根据自身需求选择适合自己的集群架构方案和做对应的优化。

问：集群架构下分布式存储硬件规划及运维需要注意哪些事项？
答：分布式存储做好集群的运维非常的关键，因为一般一个矿商对应一个或多个节点，如果多个节点（一个或多个矿商）都宕机，将会导致分布式存储的灾难。所以有以下几点建议和大家分享一下：
1、保障性运维，关注在节点服务器的稳定运行，如机器，磁盘，SSD，RAID卡，电池等等，这些关键组件的状态监控；故障后及时处理这些小问题；
2、标准化故障处理、增加节点的流程；
3、建立存储服务交付，存储使用配额的管理等等。
4、有良好的架构设计，运维成功的一半；
5、熟悉技术原理，避免小问题引发大的故障。如硬盘损坏导致集群整体性能问题。
6、做好备份，分布式存储的副本或纠删码是防止存储部件损坏造成数据丢失或业务暂停，哪怕分布式存储启用快照功能，也是无法防止物理故障。备份的意义在于使用与存储完全隔离的故障域来保护数据，分离的存储操作系统，不同的物理设备，不同的物理区域，以防止物理故障，逻辑故障。