康雨城

在学习文件系统的过程中，接触到了fuse，libfuse。因此自己决定跑着玩玩。虽然就是玩玩，但还是踩了坑。这个坑本质在于操作系统的环境。我先后采用了：wsl的ubuntu、centos7、centos8，都以失败告终，最终在ubuntu20虚拟机中搞定。

用root用户的话ERROR: but there is no HDFS_DATANODE_USER defined. Aborting operation.用普通用户的话pdsh@yucheng: localhost: rcmd: socket: Permission denied

ceph auth get-or-create client.kyc mon 'allow r' osd 'profile rbd pool=yucheng_pool' > ceph.client.kyc.keyring 其中kyc 为用户名 yucheng_pool为用户存储池

背景有的时候为了测试系统的可用性，需要制造网卡的延迟解决办法1.制造延迟tc qdisc add dev bond2.320 root netem delay 300ms2.查询tc qdisc show3.删除tc qdisc del dev bond2.320 root netem delay 300ms

本地虚拟机搭建单节点Ceph，用于功能测试。搭建完成后查看集群状态。创建pool，发现集群正在调整。发现100.000% pgs not active一顿操作[root@master cephdep]# cd /etc/ceph/[root@master ceph]# ceph osd getcrushmap -o /etc/ceph/crushmap7[root@master ceph]# crushtool -d /etc/ceph/crush...

Long heartbeat ping times on front interface seen, longest is 8784.818 msec

rbd 无法删除PreRemoveRequest: check_image_watchers: image has watchers - not removingRemoving image: 0% complete...failed.rbd: error: image still has watchersThis means the image is still open or the client using it crashed.

第一阶段：全整合阶段。 第二阶段：磁盘外置阶段 第三阶段：外部独立磁盘阵列阶段.第四阶段：网络化独立磁盘阵列阶段。第五阶段：瘦服务器主机、独立NAS阶段。第六阶段：全分离式阶段。第七阶段：统一整合阶段

NAS和SAN。通过外部网络而不是计算机内部总线来传递文件读写指令的系统“是对网络文件系统最准确和最本质的描述。如果是高并发随机小块IO环境或者共享访问文件的环境，NAS会表现出很强的相对性能。

FC协议扩展性，高可用

8.1FC网络Fibre Channel也就是网状通道，简称FC。也可以称为FC协议，FC网络、FC互联注意：Fibre Channel不是Fiber Channel，后者是光纤通道与网状通道没有任何联系..

目录6.1 外置机柜6.2 结合RAID卡实现外置磁盘阵列6.3独立的外部磁盘阵列6.4 双控制器的搞安全性磁盘阵列1.Active-Standby2.Dual-Activate3.脑分裂6.5连接多个扩展柜6.6 完整功能的模块化磁盘阵列6.7 主机与磁盘阵列本是一家6.1 外置机柜Just a Bound Of Disk6.2 结合RAID卡实现外置磁盘阵列自带RAID磁盘控制器的磁盘箱叫做磁盘阵列或者盘阵。整个盘阵对于主机来说就是SCS.

虚拟磁盘和卷

目录5.1操作系统中配置RAID5.2 RAID卡5.2.1 RAID卡的结构5.2.2 RAID卡的初始化和配置过程5.2.3通道RAID卡5.2.4无驱RAID卡5.2.5 RAID On Chip (ROC)技术5.2.6 RAID卡上的内存5.2.7缓存两种写模式1.WriteBack模式2.WriteThrough模式5.2.8 RAID配置完成后的初始化过程5.3 磁盘阵列5.3.1.RAID 505.3.2.RAID10和RAID01

RAID0-RAID6

3.10 固态存储介质和固态硬盘3.10.1 SSD固态硬盘的硬件组成SSD是一种利用Flash芯片或者DRAM芯片作为数据永久存储的硬盘。磁盘使用磁粒子区域来保存1或者0，芯片用电荷来表示。充满电表示0，放电后表示1。浮动门（Floating Gate ，FG）的名称也由此而来，Cell是利用FG中的电势值来与阀值对比从而判断其表示1或者0的。每个Cell串是由多个Cell串联而成的，每个Cell串每次只能读写其中一个Cell，多个串是由多个Cell串联而成的，每个Cell串每次只能读写其中一

并行传输、串行传输、IOPS、带宽

3.6磁盘控制器、驱动器控制电路和磁盘控制器驱动程序3.6.1 磁盘控制器硬盘的接口包括物理接口，也就硬盘接入到磁盘控制器上需要用的接口，除了物理接口规范之外，还定义了一套指令系统，叫做逻辑接口。磁盘通过物理线缆和接口连接到磁盘控制器之后，需要逻辑接口，也就是指令集来向磁盘中存放。磁盘控制器的作用是参与底层的总线初始化、仲裁等过程以及指令传输过程、指令传输状态机、重传、ACK确认等，将这些太过底层的机制过滤掉，从而向驱动程序提供一种简洁的接口。驱动程序只要将读写的设备号、起始地址等信息，也就是指令描

硬盘的物理接口包括以下几种：用于ATA指令系统的IDE接口（PATA）用于ATA指令系统的SATA接口用于SCSI指令系统的并行SCSI接口用于SCSI指令系统的串行SCSI（SAS）接口用于SCSI指令系统的IBM专用串行SCSI（SSA）接口用于SCSI指令系统的并且承载于FabreChannel协议的串行FC接口（FCP）

3.2磁盘的通俗演绎将具体的磁盘抽象成LBA，LBA1表示0号盘片，0号磁道的0号扇区，依次类推，LBA地址到实际的盘片、磁道、扇区地址的映射工作由磁盘内部的逻辑电路来查询ROM中对应表而得到，这样就完成了物理地址到逻辑地址的抽象、虚拟和映射。人们抽象出一套系统接口，专门用于计算机和其外设交互数据，成为SCSI接口协议，即小型计算机系统接口。比如某个时刻，要向磁盘写入512B的数据，磁盘控制器先向磁盘发出一个命令，表明准备做IO操作了，而且说明了附带参数（是否启用磁盘缓存、完成后是否中断通知CPU等

3.1硬盘结构结构图3.1.1 盘面上的数据组织硬盘首先在逻辑上被划分为此道、柱面、扇区。每个盘面都有一个读写磁头，磁头起初停在盘面最内圈，即线速度最小的地方。这是一个特殊区域，它不存放任何数据，称为起停区或着陆区。启停区外就是数据区。在最外圈，离株洲最远的地方是0磁道，硬盘数据存放的就是从最外圈开始的。...

2.1IO的通路——总线IO是通过共享一条总线的方式来实现的。包括用于数据交互的数据总线、传递信号的控制总线、中断与仲裁的中断总线，还有一些是地址总线，用来确认通信时的目标设备。1.PCI总线PCI总线是目前台式机与服务器所普遍使用的一种，南桥与外设连接的总线技术。PCI总线的地址总线与数据总线时分时复用的。PCI总线在同一时刻，只能对一对设备完成传输，这就需要有一个仲裁机构，来决定谁有权力拿到总线的主控权。发起者发出请求使用信号，仲裁器许可并放上接收地址，选中设备声明自己被选中，可以传

竹简 -> 纸张 -> 选数管 ->穿孔卡 -> 穿孔纸带 ->磁带 -> 磁鼓 ->硬盘->软盘 ->光盘->U盘（闪存）->磁盘阵列->大型网络化磁盘阵列