磁盘管理和文件系统

管理分区

列出块设备

• lsblk

重新设置内存中的内核分区表版本

• partprobe

lsblk 
NAME           MAJ:MIN RM  SIZE RO TYPE MOUNTPOINT
sda              8:0    0  200G  0 disk 
|-sda1           8:1    0    1G  0 part /boot
|-sda2           8:2    0  100G  0 part /
|-sda3           8:3    0   50G  0 part /data
|-sda4           8:4    0    1K  0 part 
|-sda5           8:5    0    4G  0 part [SWAP]
`-sda6           8:6    0   45G  0 part 
sdb              8:16   0  200G  0 disk 
|-sdb1           8:17   0    2G  0 part /home
`-sdb2           8:18   0    4G  0 part 
  `-vg0-mysql  253:0    0   25G  0 lvm  /mnt/mysql
sdc              8:32   0   20G  0 disk 
|-sdc1           8:33   0    4G  0 part [SWAP]
`-sdc2           8:34   0   16G  0 part 
  |-vg0-mysql  253:0    0   25G  0 lvm  /mnt/mysql
  `-vg0-binlog 253:1    0   10G  0 lvm  /mnt/binlog
sdd              8:48   0   20G  0 disk 
`-vg0-mysql    253:0    0   25G  0 lvm  /mnt/mysql
sr0             11:0    1  3.7G  0 rom  
sr1             11:1    1  4.4G  0 rom  

parted命令

parted的操作都是实时生效的，小心使用
用法：parted [选项]… [设备 [命令 [参数]…]…]

parted /dev/sdb mklabel gpt|msdos
parted /dev/sdb print
parted /dev/sdb mkpart primary 1 200 （默认M）
parted /dev/sdb rm 1
parted –l 列出分区信息

分区工具fdisk和gdisk

gdisk /dev/sdb 类fdisk 的GPT分区工具
fdisk -l [-u] [device…] 查看分区
fdisk /dev/sdb 管理分区
子命令：
p 分区列表
t 更改分区类型
n 创建新分区
d 删除分区
v 校验分区
u 转换单位
w 保存并退出
q 不保存并退出

同步分区表

查看内核是否已经识别新的分区

cat /proc/partations

centos6通知内核重新读取硬盘分区表
新增分区用

partx -a /dev/DEVICE
kpartx -a /dev/DEVICE -f: force

删除分区用

partx -d --nr M-N /dev/DEVICE

CentOS 5，7: 使用partprobe

partprobe [/dev/DEVICE]

文件系统

文件系统是操作系统用于明确存储设备或分区上的文件的方法和数据结构；即
在存储设备上组织文件的方法。操作系统中负责管理和存储文件信息的软件结
构称为文件管理系统，简称文件系统
从系统角度来看，文件系统是对文件存储设备的空间进行组织和分配，负责文
件存储并对存入的文件进行保护和检索的系统。具体地说，它负责为用户建立
文件，存入、读出、修改、转储文件，控制文件的存取，安全控制，日志，压
缩，加密等

文件系统类型

Linux文件系统：
ext2(Extended file system) :适用于那些分区容量不是太大，更新也不频繁的情况，
例如 /boot 分区
ext3:是 ext2 的改进版本，其支持日志功能，能够帮助系统从非正常关机导致的异常中
恢复。它通常被用作通用的文件系统
ext4:是 ext 文件系统的最新版。提供了很多新的特性，包括纳秒级时间戳、创建和使
用巨型文件(16TB)、最大1EB的文件系统，以及速度的提升
xfs：SGI，支持最大8EB的文件系统
btrfs（Oracle）, reiserfs, jfs（AIX）, swap
光盘：iso9660
Windows：FAT32, exFAT,NTFS
Unix: FFS（fast）, UFS（unix）, JFS2
网络文件系统：NFS, CIFS
集群文件系统：GFS2, OCFS2（oracle）
分布式文件系统： fastdfs,ceph, moosefs, mogilefs, glusterfs, Lustre
RAW：未经处理或者未经格式化产生的文件系统

文件系统分类

根据其是否支持"journal"功能：

日志型文件系统: ext3, ext4, xfs, …
非日志型文件系统: ext2, vfat

文件系统的组成部分：

内核中的模块：ext4, xfs, vfat
用户空间的管理工具：mkfs.ext4, mkfs.xfs,mkfs.vfat
Linux的虚拟文件系统：VFS
查前支持的文件系统：cat /proc/filesystems

创建文件系统

mkfs命令：

(1) mkfs.FS_TYPE /dev/DEVICE
ext4
xfs
btrfs
vfat
(2) mkfs -t FS_TYPE /dev/DEVICE
-L 'LABEL' 设定卷标

创建ext文件系统

mke2fs：ext系列文件系统专用管理工具
-t {ext2|ext3|ext4} 指定文件系统类型
-b {1024|2048|4096} 指定块大小
-L ‘LABEL’ 设置卷标
-j 相当于 -t ext3
 mkfs.ext3 = mkfs -t ext3 = mke2fs -j = mke2fs -t ext3
-i # 为数据空间中每多少个字节创建一个inode；不应该小于block大小
-N # 指定分区中创建多少个inode
-I 一个inode记录占用的磁盘空间大小，128---4096
-m # 默认5%,为管理人员预留空间占总空间的百分比
-O FEATURE[,...] 启用指定特性
-O ^FEATURE 关闭指定特性

文件系统标签

指向设备的另一种方法
与设备无关
blkid：块设备属性信息查看

blkid [OPTION]... [DEVICE]

-U UUID 根据指定的UUID来查找对应的设备
-L LABEL 根据指定的LABEL来查找对应的设备
e2label：管理ext系列文件系统的LABEL

e2label DEVICE [LABEL]

findfs ：查找分区

findfs [options] LABEL=<label>
findfs [options] UUID=<uuid>

tune2fs

tune2fs：重新设定ext系列文件系统可调整参数的值
-l 查看指定文件系统超级块信息；super block
-L 'LABEL’ 修改卷标
-m # 修预留给管理员的空间百分比
-j 将ext2升级为ext3
-O 文件系统属性启用或禁用, –O ^has_journal
-o 调整文件系统的默认挂载选项，–o ^acl
-U UUID 修改UUID号 dumpe2fs：显示ext文件系统信息，将磁盘块分组管理
-h：查看超级块信息，不显示分组信息
xfs_info：显示已挂载的 xfs 文件系统信息
xfs_info mountpoint

文件系统检测和修复

文件系统夹故障常发生于死机或者非正常关机之后，挂载为文件系统标记为“no clean”
注意：一定不要在挂载状态下执行下面命令修复

fsck: File System Check
fsck.FS_TYPE
fsck -t FS_TYPE 
注意：FS_TYPE 一定要与分区上已经文件类型相同
-a 自动修复
-r 交互式修复错误

e2fsck：ext系列文件专用的检测修复工具
-y 自动回答为yes
-f 强制修复
-p 自动进行安全的修复文件系统问题

xfs_repair：xfs文件系统专用检测修复工具
-f 修复文件，而设备
-n 只检查
-d 允许修复只读的挂载设备，在单用户下修复 / 时使用，然后立即reboot

挂载mount

挂载:将额外文件系统与根文件系统某现存的目录建立起关联关系，进而使得此
目录做为其它文件访问入口的行为
卸载:为解除此关联关系的过程
把设备关联挂载点：mount Point
mount
卸载时：可使用设备，也可以使用挂载点
umount 设备名|挂载点
挂载点下原有文件在挂载完成后会被临时隐藏
挂载点目录一般为空

用mount命令挂载文件系统

挂载方法：mount DEVICE MOUNT_POINT

mount：通过查看/etc/mtab文件显示当前已挂载的所有设备
mount [-fnrsvw] [-t vfstype] [-o options] device dir
device：指明要挂载的设备；
(1) 设备文件：例如/dev/sda5
(2) 卷标：-L 'LABEL', 例如 -L 'MYDATA'
(3) UUID, -U 'UUID'：例如 -U '0c50523c-43f1-45e7-
85c0-a126711d406e'
(4) 伪文件系统名称：proc, sysfs, devtmpfs, configfs
dir：挂载点

事先存在，建议使用空目录
进程正在使用中的设备无法被卸载

mount常用命令选项

-t vsftype 指定要挂载的设备上的文件系统类型
-r readonly，只读挂载
-w read and write, 读写挂载
-n 不更新/etc/mtab，mount不可见
-a 自动挂载所有支持自动挂载的设备(定义在了/etc/fstab文件中，且挂载选项中有auto功能) 
-L 'LABEL' 以卷标指定挂载设备
-U 'UUID' 以UUID指定要挂载的设备
-B, --bind 绑定目录到另一个目录上
查看内核追踪到的已挂载的所有设备
cat /proc/mounts

-o options：(挂载文件系统的选项)，多个选项使用逗号分隔
async 异步模式 sync 同步模式,内存更改时，同时写磁盘
atime/noatime 包含目录和文件
diratime/nodiratime 目录的访问时间戳
auto/noauto 是否支持自动挂载,是否支持-a选项
exec/noexec 是否支持将文件系统上运行应用程序
dev/nodev 是否支持在此文件系统上使用设备文件
suid/nosuid 是否支持suid和sgid权限
remount 重新挂载
ro 只读 rw 读写
user/nouser 是否允许普通用户挂载此设备，/etc/fstab使用
acl 启用此文件系统上的acl功能
loop 使用loop设备
defaults：相当于rw, suid, dev, exec, auto, nouser, async

卸载命令

查看挂载情况

findmnt MOUNT_POINT|device

查看正在访问指定文件系统的进程

lsof MOUNT_POINT
fuser -v MOUNT_POINT

终止所有在正访问指定的文件系统的进程

fuser -km MOUNT_POINT

卸载

umount DEVICE
umount MOUNT_POINT

文件挂载配置文件

/etc/fstab每行定义一个要挂载的文件系统
1、要挂载的设备或伪文件系统
设备文件
LABEL：LABEL=""
UUID：UUID=""
伪文件系统名称：proc, sysfs
2、挂载点
3、文件系统类型：ext4，xfs，iso9660，nfs，none
4、挂载选项：defaults ，acl，bind
5、转储频率：0：不做备份 1：每天转储 2：每隔一天转储
6、fsck检查的文件系统的顺序：允许的数字是0 1 2
0：不自检
1：首先自检；一般只有rootfs才用
2：非rootfs使用

处理交换文件和分区

swap交换分区是系统RAM的补充，Swap 分区支持虚拟内存。当没有足够的
RAM 保存系统处理的数据时会将数据写入 swap 分区
当系统缺乏 swap 空间时，内核会因 RAM 内存耗尽而终止进程。配置过多
swap 空间会造成存储设备处于分配状态但闲置，造成浪费，过多 swap 空
间还会掩盖内存泄露

挂载交换分区

基本设置包括：
• 创建交换分区或者文件
• 使用mkswap写入特殊签名
• 在/etc/fstab文件中添加适当的条目
• 使用swapon -a 激活交换空间
启用：swapon

 swapon [OPTION]... [DEVICE]
-a：激活所有的交换分区
-p PRIORITY：指定优先级
/etc/fstab 在第4列中：pri=value
禁用：swapoff [OPTION]... [DEVICE]

SWAP的优先级

可以指定swap分区0到32767的优先级，值越大优先级越高
如果用户没有指定，那么核心会自动给swap指定一个优先级，这个优先级从
-1开始，每加入一个新的没有用户指定优先级的swap，会给这个优先级减一
先添加的swap的缺省优先级比较高，除非用户自己指定一个优先级，而用户
指定的优先级(是正数)永远高于核心缺省指定的优先级(是负数)
优化性能：分布存放，高性能磁盘存放

移动介质

挂载意味着使外来的文件系统看起来如同是主目录树的一部分
访问前，介质必须被挂载
摘除时，介质必须被卸载
按照默认设置，非根用户只能挂载某些设备（光盘、DVD、软
盘、USB等等）
挂载点通常在/media 或/mnt下

使用光盘

在图形环境下自动启动挂载/run/media//
否则就必须被手工挂载

mount /dev/cdrom /mnt/

操作光盘：

eject 弹出光盘
eject -t 弹入光盘

创建ISO文件

cp /dev/cdrom /root/centos.iso
mkisofs -r -o /root/etc.iso /etc

刻录光盘

wodim –v –eject centos.iso

挂载USB介质

查看USB设备是否识别
• lsusb
被内核探测为SCSI设备
• /dev/sdaX、/dev/sdbX或类似的设备文件
在图形环境中自动挂载
• 图标在[计算机]窗口中创建
• 挂载在/run/media//
手动挂载
• mount /dev/sdb1 /mnt

常见工具

文件系统空间占用等信息的查看工具

 df [OPTION]... [FILE]...
-H 以10为单位
-T 文件系统类型
-h human-readable
-i inodes instead of blocks
-P 以Posix兼容的格式输出

查看某目录总体空间占用状态

du [OPTION]... DIR
-h human-readable
-s summary 
 --max-depth=# 指定最大目录层级

工具dd

dd 命令：convert and copy a file
用法：

dd if=/PATH/FROM/SRC of=/PATH/TO/DEST bs=# count=#
if=file 从所命名文件读取而不是从标准输入
of=file 写到所命名的文件而不是到标准输出
ibs=size 一次读size个byte
obs=size 一次写size个byte
bs=size block size, 指定块大小（既是是ibs也是obs)
cbs=size 一次转化size个byte
skip=blocks 从开头忽略blocks个ibs大小的块
seek=blocks 从开头忽略blocks个obs大小的块
count=n 复制n个bs

conv=conversion[,conversion...] 用指定的参数转换文件
转换参数: 
ascii 转换 EBCDIC 为 ASCII
ebcdic 转换 ASCII 为 EBCDIC
lcase 把大写字符转换为小写字符
ucase 把小写字符转换为大写字符
nocreat 不创建输出文件
noerror 出错时不停止
notrunc 不截短输出文件
sync 把每个输入块填充到ibs个字节，不足部分用空(NUL)字符补齐
fdatasync 写完成前，物理写入输出文件

备份MBR

dd if=/dev/sda of=/tmp/mbr.bak bs=512 count=1

破坏MBR中的bootloader

dd if=/dev/zero of=/dev/sda bs=64 count=1 seek=446

有一个大与2K的二进制文件fileA。现在想从第64个字节位置开始读取，需要读
取的大小是128Byts。又有fileB, 想把上面读取到的128Bytes写到第32个字节开
始的位置，替换128Bytes，实现如下

dd if=fileA of=fileB bs=1 count=128 skip=63 seek=31 conv=notrunc

备份：

将本地的/dev/sdx整盘备份到/dev/sdy

dd if=/dev/sdx of=/dev/sdy

将/dev/sdx全盘数据备份到指定路径的image文件

dd if=/dev/sdx of=/path/to/image

备份/dev/sdx全盘数据，并利用gzip压缩，保存到指定路径

dd if=/dev/sdx | gzip >/path/to/image.gz

恢复：
将备份文件恢复到指定盘

dd if=/path/to/image of=/dev/sdx

将压缩的备份文件恢复到指定盘

gzip -dc /path/to/image.gz | dd of=/dev/sdx

拷贝内存资料到硬盘

dd if=/dev/mem of=/root/mem.bin bs=1024

将内存里的数据拷贝到root目录下的mem.bin文件
从光盘拷贝iso镜像

dd if=/dev/cdrom of=/root/cd.iso

拷贝光盘数据到root文件夹下，并保存为cd.iso文件
销毁磁盘数据

dd if=/dev/urandom of=/dev/sda1

利用随机的数据填充硬盘，在某些必要的场合可以用来销毁数据，执行此操作
以后，/dev/sda1将无法挂载，创建和拷贝操作无法执行

什么是RAID

RAID:Redundant Arrays of Inexpensive（Independent） Disks
1988年由加利福尼亚大学伯克利分校（University of CaliforniaBerkeley） “A Case for Redundant Arrays of Inexpensive Disks”
多个磁盘合成一个“阵列”来提供更好的性能、冗余，或者两者都提供
提高IO能力
磁盘并行读写
提高耐用性
磁盘冗余来实现
级别：多块磁盘组织在一起的工作方式有所不同
RAID实现的方式
外接式磁盘阵列：通过扩展卡提供适配能力
内接式RAID：主板集成RAID控制器，安装OS前在BIOS里配置
软件RAID：通过OS实现

RAID级别

RAID-0：条带卷，strip
RAID-1：镜像卷，mirror
RAID-2
…
RAID-5
RAID-6
RAID-10
RAID-01

RAID-0：

读、写性能提升
可用空间：N*min(S1,S2,…)
无容错能力
最少磁盘数：2, 2+

RAID-1：

读性能提升、写性能略有下降
可用空间：1*min(S1,S2,…)
有冗余能力
最少磁盘数：2, 2N

RAID-4：

多块数据盘异或运算值存于专用校验盘

RAID-5：

读、写性能提升
可用空间：(N-1)*min(S1,S2,…)
有容错能力：允许最多1块磁盘损坏
最少磁盘数：3, 3+

RAID-6：

读、写性能提升
可用空间：(N-2)*min(S1,S2,…)
有容错能力：允许最多2块磁盘损坏
最少磁盘数：4, 4+

RAID-10：

读、写性能提升
可用空间：N*min(S1,S2,…)/2
有容错能力：每组镜像最多只能坏一块
最少磁盘数：4, 4+

RAID-01

多块磁盘先实现RAID0,再组合成RAID1

RAID-50

多块磁盘先实现RAID5,再组合成RAID0

JBOD：Just a Bunch Of Disks

功能：将多块磁盘的空间合并一个大的连续空间使用
可用空间：sum(S1,S2,…)

RAID7

可以理解为一个独立存储计算机，自身带有操作系统和管理工具，可以独立
运行，理论上性能最高的RAID模式
常用级别：
RAID-0, RAID-1, RAID-5, RAID-10, RAID-50, JBOD

软RAID

mdadm：为软RAID提供管理界面
为空余磁盘添加冗余
结合内核中的md(multi devices)
RAID设备可命名为/dev/md0、/dev/md1、/dev/md2、/dev/md3等

软件RAID的实现

mdadm：模式化的工具
命令的语法格式：mdadm [mode] <raiddevice> [options] <componentdevices>
支持的RAID级别：LINEAR, RAID0, RAID1, RAID4, RAID5, RAID6, RAID10
模式：
创建：-C
装配：-A
监控：-F
管理：-f, -r, -a

<raiddevice>: /dev/md#
<component-devices>: 任意块设备

-C: 创建模式
-n #: 使用#个块设备来创建此RAID
-l #：指明要创建的RAID的级别
-a {yes|no}：自动创建目标RAID设备的设备文件
-c CHUNK_SIZE: 指明块大小,单位k -x #: 指明空闲盘的个数
-D：显示raid的详细信息
mdadm -D /dev/md#
管理模式：
-f: 标记指定磁盘为损坏
-a: 添加磁盘
-r: 移除磁盘
观察md的状态： cat /proc/mdstat

使用mdadm创建并定义RAID设备

mdadm -C /dev/md0 -a yes -l 5 -n 3 -x 1 /dev/sd{b,c,d,e}1

用文件系统对每个RAID设备进行格式化

mkfs.xfs /dev/md0

测试RAID设备
使用mdadm检查RAID设备的状况

mdadm --detail|D /dev/md0

增加新的成员

mdadm –G /dev/md0 –n4 -a /dev/sdf1

模拟磁盘故障

mdadm /dev/md0 -f /dev/sda1

移除磁盘

mdadm /dev/md0 –r /dev/sda1

从软件RAID磁盘修复磁盘故障
• 替换出故障的磁盘然后开机
• 在备用驱动器上重建分区

 mdadm /dev/md0 -a /dev/sda1
mdadm、/proc/mdstat及系统日志信息

生成配置文件：mdadm –D –s >> /etc/mdadm.conf
停止设备：mdadm –S /dev/md0
激活设备：mdadm –A –s /dev/md0 激活
强制启动：mdadm –R /dev/md0
删除raid信息：mdadm --zero-superblock /dev/sdb1