truenas core 升级到scale的踩坑记录，顺便测试truenas scale 和core 系统 软raid0 raid5 raid6读写的速度差距，突然发现全是坑

前言

由于觉得nas使用的配置过于浪费，想使用docker 还有虚拟机跑点服务，无意中发现core可以升级为scale

由于我个人使用nas并没有特别的功能，只建立池，然后开了nfs smb的共享，还有个通知功能，其他都没有使用，然后我就手贱的点了升级

升级前配置5x16T 组的raid6 ，一块1t ssd缓存盘，2块1tssd 组raid1 日志，3块1tssd组的raid1 做的元数据。我这配置在core版本时 在没有缓存zfs 缓存时读取900mb/s 写入500mb/s 完全够用，跑满zfs缓存可以做到读取跑满万兆，写入在700mb/s左右，

升级到scale时 我发现池那边多了一个升级池的按钮，没错，我手很贱，点了升级，5秒钟升级好了，为自己埋下来2天排查的坑

所有配置几乎一样的情况下，写入依旧时500mb/s,但是读取来到了不跑满zfs缓存时只有惊人的  50mb/s！！！

我就排查网络，硬件，pc端，交换机各种各样的问题，使用nfs，smb，好几台机器分别挂载（只能50mb/s），也使用了fio工具和win挂载后使用硬盘测试工具（居然能到跑到正常数据）在跑满zfs缓存时，也能跑万兆,没招了

然后我想着改系统时我备份了系统，我重新换回了有core的系统盘，

没错！因为手贱点的升级池，导致了无法兼容core系统的版本，特无奈，

幸好数据不多，才两个t，我2个2t的固态，我备份了下来，经过漫长的1天一夜读取只有50mb/s的速度属实难蹦，

我决定测试一下到底时scale哪边的问题，备份好后，我清空了池。裸盘搭建了raid6的5x16t

raid6裸盘测试读写

写入 554+mb/s

读取无zfs缓存 50mb/s

(需要重启)

给池只增加缓存盘在测试

卧槽，难道我之前加的缓存盘没用么？加3t的缓存盘再试一下，更慢了？raid6理论时两个奇偶校验盘，也不应该在加了缓存只有39mb/s啊

更改raid模式在试一下

裸raid0 

理论速度最快的模式

写入 600mb/s

读取 无zfs缓存 456mb/s

裸raid5

这里就不测试raid1了，理论​​​​raid5 读取效率比raid0差一点≈raid6，那就不太应该只有50才对，难道是有硬盘损坏了？

写入 600mb/s

读取 无zfs缓存 147mb/s

到这的时候我已经更加疑惑了，我用的是软raid，理论性能靠cpu，我是双e5不是瓶颈，难道是硬盘有问题？

truenas 是带测试SMART 的，我来测试一下硬盘,短测试都无问题

长测试时发现sdb这块硬盘不对劲，没有测试却一直占用,并且无法擦除，一直提示占用

重新搭建一个池排除sdb这块硬盘，使用的是raid6

裸raid6 写入495mb/s

读取有zfs缓存 1gb/s

无zfs 缓存读取 17.6mb/s???

无敌疑惑。。。。为什么，raid0无校验盘可以跑到456，raid5一块校验盘147，理论应该就比raid0差一点 ，起码跑个三四百吧，raid6校验盘虽然两块，然是和raid5差距不会太大，在慢也应该接近raid5才对，我疑惑了！！！！！！！！！！

测试单独硬盘

在raid0时写入600 平均120 没啥毛病，写入慢点，但也平均近100，也没毛病，按道理来说不应该是硬盘问题！！！

现在就两个问题，系统问题和硬盘问题，硬盘校验太慢了，用一个笨方法，每个硬盘单独建一个池，去测每个硬盘的单独读写。。。

单盘写入测试

盘1 写入 500+mb/s

盘2 写入 500+mb/s

盘3 写入 500+mb/s

盘4 写入 500+mb/s

盘5 写入 600+mb/s

4.6g*5=23g zfs缓存也没问题，5块硬盘写入均无问题

单盘有zfs缓存读取测试 

盘1 有缓存读取 400+mb/s

盘2 有缓存读取 400+mb/s 

盘3 有缓存读取 400+mb/s

盘4 有缓存读取 400+mb/s

盘5 有缓存读取 400+mb/s

单盘无缓存读取测试 

重启电脑后zfs缓存就不在了

盘1 读取200+mb/s

盘2 读取200+mb/s 

盘3 读取200+mb/s 

盘4 读取200+mb/s 

盘5 读取200+mb/s 

更换core系统尝试

l靓仔无语。。。。换core试一下吧，如果系统不行，我就用硬raid在试一下///。。。 

裸raid0

写入 500+mb/s

读取 有缓存 500+mb/s

读取 无缓存 500+mb/s

l

裸raid5

写入 500+mb/s

读取 有缓存 500mb/s

读取 无缓存 150mb/s

靓仔已经不想测试了，我使用的是淘来的二手dell730xd 硬件是没有问题的，出问题的那就只能是系统方面了，它有一个硬raid卡，我搭建了raid6测试了一下，都没有问题，那问题就出现在系统上了，本来还打算装esxi 虚拟黑群晖 直通硬盘的，现在打算放弃了，毕竟以前黑群晖踩过不少坑，

我打算使用windows server了，教程最多，系统最熟悉，使用硬raid6 也不需要扩充，稳定就行，不折腾了

写

读