磁盘和分区

磁盘分区

两种分区方式：
MBR，GPT 
MBR: Master Boot Record，1982年，使用32位表示扇区数，分区不超过2T 
如何分区：
按柱面 
0磁道0扇区：
512bytes（主引导记录，bios引导时首先读取该扇区）
446bytes: boot loader （启动加载器，windows系统NT启动，linux系统grub启动）
64bytes：分区表，其中每16bytes标识一个分区（标识该分区的起始位置等）
2bytes: 55AA （校验值，判断是否能启动）
4个主分区；3主分区+1扩展(N个逻辑分区)

MBR分区结构

硬盘主引导记录MBR由4个部分组成 
主引导程序（偏移地址0000H–0088H），它负责从活动分区中装载，并运行 系统引导程序 出错信息数据区，偏移地址0089H–00E1H为出错信息，00E2H–01BDH全为 0字节 
分区表（DPT,Disk Partition Table）含4个分区项，偏移地址01BEH–01FDH, 每个分区表项长16个字节，共64字节为分区项1、分区项2、分区项3、分区项4 
结束标志字，偏移地址01FE–01FF的2个字节值为结束标志55AA

GPT分区

GPT:GUID（Globals Unique Identifiers）
partition table 支持128个分区， 使用64位，支持8Z（ 512Byte/block ）64Z （ 4096Byte/block）
使用128位UUID(Universally Unique Identifier) 表示磁盘和分区 GPT分区表 自动备份在头和尾两份，并有CRC校验位 
UEFI (统一扩展固件接口)硬件支持GPT，使操作系统启动

管理分区

列出块设备 lsblk 
创建分区使用：
fdisk 创建MBR分区
gdisk 创建GPT分区
parted 高级分区操作 
重新设置内存中的内核分区表版本
partprobe（centos5，7使用该命令刷新分区信息）

parted命令

parted的操作都是实时生效的，小心使用 
用法：parted [选项]… [设备 [命令 [参数]…]…]
parted /dev/sdb mklabel gpt|msdos
parted /dev/sdb print
parted /dev/sdb mkpart primary 1 200 （默认M）
parted /dev/sdb rm 1 parted –l 列出分区信息

gdisk /dev/sdb 类fdisk 的GPT分区工具 

fdisk -l [-u] [device…] 查看分区 
fdisk /dev/sdb 管理分区 
子命令： 
p 分区列表 
t 更改分区类型 
n 创建新分区 
d 删除分区 
v 校验分区 
u 转换单位 
w 保存并退出 
q 不保存并退出

同步分区表

查看内核是否已经识别新的分区 cat /proc/partations 
centos6通知内核重新读取硬盘分区表 新增分区用
partx -a /dev/DEVICE
kpartx -a /dev/DEVICE -f: force
删除分区用
partx -d --nr M-N /dev/DEVICE partx -d --nr 3 /dev/sda 
CentOS 5，7: 使用partprobe partprobe [/dev/DEVICE]

文件系统

文件系统是操作系统用于明确存储设备或分区上的文件的方法和数据结构；即 在存储设备上组织文件的方法。操作系统中负责管理和存储文件信息的软件结 构称为文件管理系统，简称文件系统 
从系统角度来看，文件系统是对文件存储设备的空间进行组织和分配，负责文 件存储并对存入的文件进行保护和检索的系统。具体地说，它负责为用户建立 文件，存入、读出、修改、转储文件，控制文件的存取，安全控制，日志，压 缩，加密等 
支持的文件系统：
/lib/modules/uname –r（内核版本号）/kernel/fs 
各种文件系统：
https://en.wikipedia.org/wiki/Comparison_of_file_systems

文件系统类型

Linux文件系统：
ext2(Extended file system) :适用于那些分区容量不是太大，更新也不频繁的情况， 例如 /boot 分区
ext3:是 ext2 的改进版本，其支持日志功能，能够帮助系统从非正常关机导致的异常中 恢复。它通常被用作通用的文件系统
ext4:是 ext 文件系统的最新版。提供了很多新的特性，包括纳秒级时间戳、创建和使 用巨型文件(16TB)、最大1EB的文件系统，以及速度的提升 xfs：SGI，支持最大8EB的文件系统
btrfs（Oracle）, reiserfs, jfs（AIX）, swap 
光盘：iso9660 
Windows：FAT32, exFAT,NTFS 
Unix: FFS（fast）, UFS（unix）, JFS2 
网络文件系统：NFS, CIFS 
集群文件系统：GFS2, OCFS2（oracle） 
分布式文件系统： fastdfs,ceph, moosefs, mogilefs, glusterfs, Lustre 
RAW：未经处理或者未经格式化产生的文件系统

文件系统分类

根据其是否支持"journal"功能：
日志型文件系统: ext3, ext4, xfs, …
非日志型文件系统: ext2, vfat 
文件系统的组成部分：
内核中的模块：ext4, xfs, vfat
用户空间的管理工具：mkfs.ext4, mkfs.xfs,mkfs.vfat 
Linux的虚拟文件系统：VFS 
查前支持的文件系统：cat /proc/filesystems

创建文件系统

mkfs命令： 
(1) mkfs.FS_TYPE /dev/DEVICE
ext4
xfs
btrfs
vfat 
(2) mkfs -t FS_TYPE /dev/DEVICE
-L ‘LABEL’ 设定卷标

创建ext文件系统

mke2fs：
ext系列文件系统专用管理工具
-t {ext2|ext3|ext4} 指定文件系统类型
-b {1024|2048|4096} 指定块大小
-L ‘LABEL’ 设置卷标
-j 相当于 -t
ext3 mkfs.ext3 = mkfs -t ext3 = mke2fs -j = mke2fs -t ext3
-i # 为数据空间中每多少个字节创建一个inode；不应该小于block大小
-N # 指定分区中创建多少个inode
-I 一个inode记录占用的磁盘空间大小，128—4096
-m # 默认5%,为管理人员预留空间占总空间的百分比
-O FEATURE[,…] 启用指定特性
-O ^FEATURE 关闭指定特性

文件系统标签

指向设备的另一种方法 
与设备无关 
blkid：块设备属性信息查看
blkid [OPTION]… [DEVICE]
-U UUID 根据指定的UUID来查找对应的设备
-L LABEL 根据指定的LABEL来查找对应的设备 
e2label：管理ext系列文件系统的LABEL
e2label DEVICE [LABEL] 
findfs ：查找分区
findfs [options] LABEL=lable
findfs [options] UUID=uuid

tune2fs

tune2fs：重新设定ext系列文件系统可调整参数的值
-l 查看指定文件系统超级块信息；super block -
L 'LABEL‘ 修改卷标 -
m # 修预留给管理员的空间百分比
-j 将ext2升级为ext3
-O 文件系统属性启用或禁用, –O ^has_journal
-o 调整文件系统的默认挂载选项，–o ^acl
-U UUID 修改UUID号 
dumpe2fs： 块分组管理，32768块
-h：查看超级块信息，不显示分组信息

文件系统检测和修复

常发生于死机或者非正常关机之后 
挂载为文件系统标记为“no clean” 
注意：一定不要在挂载状态下修复 
fsck: File System Check
fsck.FS_TYPE
fsck -t FS_TYPE
-p 自动修复错误
-r 交互式修复错误
FS_TYPE 一定要与分区上已经文件类型相同 
e2fsck：
ext系列文件专用的检测修复工具
-y 自动回答为yes
-f 强制修复
centos7修复文件系统
xfs_repair /dev/sdb1

用mount命令挂载文件系统

临时挂载，重启后丢失
挂载方法：mount DEVICE MOUNT_POINT 
mount：通过查看/etc/mtab文件显示当前已挂载的所有设备 
mount [-fnrsvw] [-t vfstype] [-o options] device dir
device：指明要挂载的设备；
(1) 设备文件：例如/dev/sda5
(2) 卷标：-L ‘LABEL’, 例如 -L ‘MYDATA’
(3) UUID, -U ‘UUID’：例如 -U ‘0c50523c-43f1-45e785c0-a126711d406e’
(4) 伪文件系统名称：proc, sysfs, devtmpfs, configfs dir：
挂载点 事先存在；建议使用空目录 （如果目录已存在进行挂载之前目录里的文件和目录就会隐藏，直至取消挂载）
进程正在使用中的设备无法被卸载

mount常用命令选项

-t vsftype 指定要挂载的设备上的文件系统类型 
-r readonly，只读挂载 -
w read and write, 读写挂载 
-n 不更新/etc/mtab，mount不可见（cat /proc/mounts可以查看到，centos7不支持）
-a 自动挂载所有支持自动挂载的设备(定义在了/etc/fstab文件 中，且挂载选项中有auto功能) 
-L ‘LABEL’ 以卷标指定挂载设备 
-U ‘UUID’ 以UUID指定要挂载的设备 
-B, --bind 绑定目录到另一个目录上 挂载目录到另一个目录

查看内核追踪到的已挂载的所有设备
cat /proc/mounts
-o options：(挂载文件系统的选项)，
多个选项使用逗号分隔
async 异步模式 内存更改时，不立即写入磁盘，由内核定时写入
sync 同步模式,内存更改时，同时写磁盘
atime/noatime 包含目录和文件 （挂载后访问目录上文件更新时间）
diratime/nodiratime 目录的访问时间戳
auto/noauto 是否支持自动挂载,是否支持-a选项
exec/noexec 是否支持将文件系统上运行应用程序
dev/nodev 是否支持在此文件系统上使用设备文件
suid/nosuid 是否支持suid和sgid权限
remount 重新挂载 ro只读 rw读写
user/nouser 是否允许普通用户挂载此设备，/etc/fstab使用
acl 启用此文件系统上的acl功能（centos7默认支持acl功能，centos6安装系统创建的文件系统支持，手工创建的不支持）
loop 使用loop设备
可将文件创建文件系统挂载时使用loop设备
centos6loop默认8个 可在boot/grub/grub.conf kenel 后面添加 max_loop=数值（重启后生效）
centos6使用losetup /dev/loop设备 /文件名称 建立文件与设备的映射关系 挂载时输入loop设备名称即可
defaults：相当于rw, suid, dev, exec, auto, nouser, async

卸载命令

查看挂载情况 findmnt MOUNT_POINT|device 
查看正在访问指定文件系统的进程
lsof MOUNT_POINT
fuser -v MOUNT_POINT 
终止所有在正访问指定的文件系统的进程
fuser -km MOUNT_POINT 
卸载
umount DEVICE 设备名称
umount MOUNT_POINT 目录名称

挂载点和/etc/fstab

配置文件系统体系 
被mount、fsck和其它程序使用 
系统重启时保留文件系统体系 
可以在设备栏使用文件系统卷标 
使用mount -a 命令挂载/etc/fstab中的所有文件系统

文件挂载配置文件

/etc/fstab每行定义一个要挂载的文件系统 
1、要挂载的设备或伪文件系统
设备文件 LABEL：
LABEL="" UUID：
UUID=""
伪文件系统名称：proc, sysfs 
2、挂载点 
3、文件系统类型：ext4,xfs,nfs,none 
4、挂载选项：defaults ，acl，bind 
5、转储频率：0：不做备份 1：每天转储 2：每隔一天转储 
6、fsck检查的文件系统的顺序：允许的数字是0, 1, 和2
0：不自检 1：首先自检；一般只有rootfs才用 2：非rootfs使用

交换分区

交换分区是系统RAM的补充 
基本设置包括：
创建交换分区或者文件
使用mkswap写入特殊签名
在/etc/fstab文件中添加适当的条目
使用swapon -a 激活交换空间

挂载交换分区

启用：swapon swapon [OPTION]… [DEVICE]
-a：激活所有的交换分区
-p PRIORITY：指定优先级 /etc/fstab:pri=value 
禁用：swapoff [OPTION]… [DEVICE]

SWAP的优先级

可以指定swap分区0到32767的优先级，值越大优先级越高 
如果用户没有指定，那么核心会自动给swap指定一个优先级，这个优先级从 -1开始，每加入一个新的没有用户指定优先级的swap，会给这个优先级减一 
先添加的swap的缺省优先级比较高，除非用户自己指定一个优先级，而用户 指定的优先级(是正数)永远高于核心缺省指定的优先级(是负数) 
优化性能：分布存放，高性能磁盘存放

移动介质

挂载意味着使外来的文件系统看起来如同是主目录树的一部分 
访问前、介质必须被挂载 
摘除时，介质必须被卸载 
按照默认设置，非根用户只能挂载某些设备（光盘、DVD、软 盘、USB等等） 
挂载点通常在/media 或/mnt下

使用光盘

在图形环境下自动启动挂载
否则就必须被手工挂载 mount /dev/cdrom /mnt/ 
eject命令卸载或弹出磁盘 
创建ISO文件
cp /dev/cdrom /root/centos7.iso
mkisofs -r -o /root/etc.iso /etc 
刻录光盘 wodim –v –eject centos.iso

常见工具

文件系统空间占用等信息的查看工具：
df [OPTION]… [FILE]…
-H 以1000为单位
-T 文件系统类型
-h: human-readable 以人类可读的方式显示
-i：inodes instead of blocks i节点数量
-P: 以Posix兼容的格式输出 

查看某目录总体空间占用状态：
du [OPTION]… DIR
-h: human-readable 以人类可读的方式显示
-s: summary 显示目录占用的磁盘空间大小，不要显示其下子目录和文件占用的磁盘空间大小
-a：all 显示目录占用的磁盘空间大小，还要显示其下目录和文件占用磁盘空间的大小
-c：显示几个目录或文件占用的磁盘空间大小，还要统计它们的总和
–max-depth（指定目录层级）
默认情况下，du不显示目录下文件占用磁盘空间的信息，但它会显示其下子目录占用磁盘空间的信息；而使用-s选项以后，只显示xx目录占用磁盘空间的大小。

工具dd

dd命令：convert and copy a file 
用法： dd if=/PATH/FROM/SRC of=/PATH/TO/DEST
bs=#：block size, 复制单元大小 c
ount=#：复制多少个bs
of=file 写到所命名的文件而不是到标准输出
if=file 从所命名文件读取而不是从标准输入
bs=size 指定块大小（既是是ibs也是obs)
ibs=size一次读size个byte
obs=size一次写size个byte
cbs=size一次转化size个byte
skip=blocks 从开头忽略blocks个ibs大小的块
seek=blocks 从开头忽略blocks个obs大小的块
count=n 只拷贝n个记录

conv=conversion[,conversion…] 用指定的参数转换文件 
转换参数: 
ascii 转换 EBCDIC 为 ASCII 
ebcdic 转换 ASCII 为 EBCDIC 
lcase 把大写字符转换为小写字符 
ucase 把小写字符转换为大写字符 n
ocreat 不创建输出文件 
noerror 出错时不停止 
notrunc 不截短输出文件 
sync 把每个输入块填充到ibs个字节，不足部分用空(NUL)字符补齐 
Fdatasync 写完成前，物理写入输出文件

备份：
dd if=/dev/sdx of=/dev/sdy
将本地的/dev/sdx整盘备份到/dev/sdy
dd if=/dev/sdx of=/path/to/image
将/dev/sdx全盘数据备份到指定路径的image文件
dd if=/dev/sdx | gzip >/path/to/image.gz
备份/dev/sdx全盘数据，并利用gzip压缩，保存到指定路径 
恢复： dd if=/path/to/image of=/dev/sdx
将备份文件恢复到指定盘
gzip -dc /path/to/image.gz | dd of=/dev/sdx
将压缩的备份文件恢复到指定盘

拷贝内存资料到硬盘
dd if=/dev/mem of=/root/mem.bin bs=1024
将内存里的数据拷贝到root目录下的mem.bin文件 
从光盘拷贝iso镜像
dd if=/dev/cdrom of=/root/cd.iso
拷贝光盘数据到root文件夹下，并保存为cd.iso文件 
销毁磁盘数据
dd if=/dev/urandom of=/dev/sda1
利用随机的数据填充硬盘，在某些必要的场合可以用来销毁数据，执行此操作以后， /dev/sda1将无法挂载，创建和拷贝操作无法执行

得到最恰当的block size
dd if=/dev/zero of=/root/1Gb.file bs=1024 count=1000000
dd if=/dev/zero of=/root/1Gb.file bs=2048 count=500000
dd if=/dev/zero of=/root/1Gb.file bs=4096 count=250000
通过比较dd指令输出中命令的执行时间，即可确定系统最佳的block size大小

测试硬盘写速度
dd if=/dev/zero of=/root/1Gb.file bs=1024 count=1000000 
测试硬盘读速度
dd if=/root/1Gb.file bs=64k | dd of=/dev/null
修复硬盘
dd if=/dev/sda of=/dev/sda
当硬盘较长时间（比如1,2年）放置不使用后，磁盘上会产生消磁点。当磁头读 到这些区域时会遇到困难，并可能导致I/O错误。当这种情况影响到硬盘的第一 个扇区时，可能导致硬盘报废。上边的命令有可能使这些数据起死回生,且这个 过程是安全高效的

备份MBR
dd if=/dev/sda of=/tmp/mbr.bak bs=512 count=1 
破坏MBR中的分区表
dd if=/dev/zero of=/dev/sda bs=64 count=1 seek=446 
有一个大与2K的二进制文件fileA。现在想从第64个字节位置开始读取，需要读 取的大小是128Byts。又有fileB, 想把上面读取到的128Bytes写到第32个字节开 始的位置，替换128Bytes，实现如下
dd if=fileA of=fileB bs=1 count=128 skip=63 seek=31 conv=notrunc