Linus工作室 2021年 PB级存储方案

来自于加拿大Linux 工作室
本文章仅整理内容,另外还有一些本人的理解
实际上这已经是Linux PB计划第二代了,比第一代更加NB
原视频地址:
https://www.bilibili.com/video/BV1nj411f7NL/?spm_id_from=333.788.videocard.4
https://www.bilibili.com/video/BV1VE41177Rj?share_source=copy_web

在这里插入图片描述

硬件部分 Hardware

器件型号数量备注
机箱45Drives 定制版60盘位4U1当时的新一代Stroinator原型机
主板技嘉工程样板1
CPUAMD EPYC 16Core1不知道啥型号,可以去45Drives官网看下
内存32 * 8GB
机械硬盘细节Exos X1660只有Exos X16 不限制单机使用量
固态镁光 7.68TB SSD SATA6
网卡ConnectX-2 40Gb InfiniBand3
SLOG傲腾SSD 480GB1使用SSD作为写缓存,比内存靠谱

软件部分 Software

类别名称
文件系统ZFS
缓存L2ARC
RaidRaid-z2
存储软件GlusterFS
共享软件Samba

1、文件系统使用ZFS,并且用到其ARC(自适应替换缓存)技术,将数据缓存到SSD中(L2ARC)
2、60个机械硬盘组成4个VDEV(每个VDEV包含15块硬盘),组成RAID-Z2阵列。整个阵列最多允许损失8个硬盘(应当注意的是,每个VDEV最多损失两块硬盘,最多可以8块)
3、应当注意,这种容量的存储设备在损失硬盘后重新同步的时间是非常漫长的(预计几个星期左右),这也必须是要考虑的因素。
4、1PB的存储接近GlusterFS 单卷容量上限,再往上就要超了(但是最后接入到Samba中的容量有1.2PB,老莱增加了几块硬盘)。
5、一台Stroinator实际能够提供的存储容量只有600TB左右,因为冗余或者文件系统的原因,但是老莱最后弄了两台Stroinator组了一个存储集群,能够提供1.2PB的容量。

结语:这种大家伙也就视频工作室用一用了,但是当前一些做机器学习的公司或者组织也可以考虑组装一台这样的存储用来存储学习模型或者元数据。还有,请不要闲的蛋疼直接在公司的生产环境部署这个东西,除非你有充分的时间来安装和调试它(参考PB计划第二弹视频),毕竟老莱可是和他们存储公司的技术人员可以直接无障碍交流的。

评论
添加红包

请填写红包祝福语或标题

红包个数最小为10个

红包金额最低5元

当前余额3.43前往充值 >
需支付:10.00
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明:

1.余额是钱包充值的虚拟货币,按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载,可以购买VIP、付费专栏及课程。

余额充值