磁盘及文件系统管理(以及btrfs)

Linux系统管理
	磁盘分区及文件系统管理
	raid
	lvm
	网络属性管理
	程序包管理
	sed及awk
	进程查看和管理
	内核管理(内核的编译和安装)
	系统启动流程
	定制,编译内核,busybox
	系统安装:kickstart,DHCP,pxe
	shell脚本编程(敲黑板!!!)

Linux磁盘及文件系统管理
	CPU,memory(RAM),I/O

	i/o: disks,ehtercard
		disks:持久存储数据

			接口类型:
				IDE(ata): 并口,133MB/s;并行总线,双向四车道;并行数据容易产生干扰,导致数据损坏重传,因此效率低;并行越高,干扰频率越高
				SCSI:并口,Ultrascsi320,320MB/s,UltraSCSI640,640MB/s;SCSI的费用更高;
				SATA: 串口,6Gbps;串行总线,有前后,不能并行传输;
				SAS:串口,6Gbps;
				USB:串口,480MB/s;

				并口:同一线缆可以接多块设备;
					IDE:两个,主,从
					SCSI:
						宽带:16-1
						窄带:8-1
				串口:同一线缆只可以接一设备;

				IOps : IO per second 
					IDE:100次左右IO
					SCSI:150左右
					SATA:100多
					SAS:100多到200
					SSD固态硬盘:400左右
					7200  rpm的磁盘 IOPS = 1000 / (9 + 4.17)  = 76 IOPS
					10000 rpm的磁盘IOPS = 1000 / (6+ 3) = 111 IOPS
					15000 rpm的磁盘IOPS = 1000 / (4 + 2) = 166 IOPS
					PCI-E接口的固态硬盘IOPS都是
						440k IOPS // 44万
			硬盘:机械硬盘,固态硬盘SSD;
				固态硬盘:类似于U盘,内部是多个并行
			
				机械硬盘:
					track:磁道一个同心圆,角速度一致;每一个盘片的双面都可以读取;每一个盘片的每一面都有磁头;
					sector:扇区就是每一个磁道中被分成若干等分的区域.相邻磁道是有间隔的,这是因为磁化单元太近会产生干扰;512bytes;
					Cylinder:柱面;分区划分基于柱面;越靠近外部磁道的分区,性能越好;
					rpm:rotation per minute 每分钟多数转
						5400rpm,7200rpm,10000rpm,15000rpm

					硬盘的容量=柱面数(CYLINDER)*磁头数(HEAD)*扇区数(SECTOR)*512B
					存储容量=磁头数×磁道(柱面)数×每道扇区数×每扇区字节数

	Linux的哲学思想:一切皆文件;

		设备类型:
			块(block):随机访问,数据交换单位是"块";
				sda,sdb
			字符(character):线性访问,数据交换单位是"字符";
				tty1,tty2,pts
		设备文件:FHS
			/dev
				设备文件:关联至设备的驱动程序;设备的访问入口;
					设备号: 
						major:主设备,区分设备类型;用于标明设备所需要的驱动程序;
						minor:次设备号,区分同种类型下的不同设备;是特定设备的访问入口

					mknod命令:创建块设备和字符设备
						mknod [OPTION] ... NAME TYPE [MAJOR MINOR]
							如: mknod /dev/testdev c 111 1
							-m MODE : 直接指定其权限 //调用系统调用来实现权限修改
						TYPE:
							b 块设备
							c,u 字符设备,(unbuffered)
							p FIFO设备
			设备文件名:是统一定义的,ICANN

			磁盘:
				IDE: /dev/hd[a-z]
					例如:/dev/hda,/dev/hdb
				SCSI,SATA,USB,SAS:/dev/sd[a-z]

				引用设备的方式:
					设备文件名
					卷标
					UUID  //128位
				分区:
					/dev/sda[1-4]
				注意:Centos6和7统统将硬盘设备文件表示为/dev/sd[a-z]#
	磁盘分区:MBR,GPT
		MBR:0 sector  //0扇区
			master boot record  //主引导记录

			分为三部分:512字节
				446bytes:bootloader,程序,引导启动操作系统的程序
				64bytes:分区表,每16bytes标识一个分区,最多4个分区
					4主分区
					3主1扩展:
						n逻辑分区
				2bytes :MBR区域的有效性,55AA为有效
			主分区和扩展分区的标识:1-4
			逻辑分区:5+
		GPT:

	fdisk命令:分区
		fdisk -l [-u] [device...]
		1.查看磁盘分区信息
			-l 列出信息
				centos6:start。。end:柱面
				centos7:start。。end:扇区
		2.管理分区
			fdisk /dev/sdb 
			fdisk提供了交互式接口来管理分区,它有很多子命令,分别用于不同的管理功能,所有操作均在内存中完成,没有直接同步磁盘,直到w保存;
				n:创建新分区
				d:删除新分区
				t:修改分区类型
				l:查看所有已经id
				w:保存并退出
				q:不保存并退出
				m:查看帮助
				p:显示现有分区信息
			注意: 在已经分区并已经挂载其中某个分区的磁盘设备上建立的新分区,内核可能在创建完成后无法直接识别;

				查看:cat  /proc/partitions
				通知内核强制重读磁盘分区表:
					centos5: partprobe [device]
					centos6,7: partx,kpartx
						partx -a [device]  //多次执行确认是否重读
						kpartx -af [device]
				分区创建工具:parted,sfdisk
	创建文件系统:
		格式化:低级格式化(分区之前,划分磁道),高级格式化(分区之后对分区进行,创建文件系统)
        元数据区,数据区
        	元数据区:inode(index node)
            	文件元数据:大小,权限,属主属组 ,时间戳,数据块指针,

            链接文件:存储数据指针的空间当中存储的真实文件的访问路径:
            设备文件:存储数据指针的空间当中存心的设备号(major,minor): 

        bitmap index:位图索引
        	参考:http://www.cnblogs.com/LBSer/p/3322630.html

     	VFS: Virtual File System
	        Linux 的文件系统:ext2 ,ext3,ext4,xfs,reiserfs
            光盘:Iso9660
            网络文件系统:nfs, clfs
            集群文件系统:gfs2,ocfs2
            内核级分布式文件系统:ceph
            windows的文件系统:proc,sysfs, tmpfs,hugepagefs
            Unix的文件系统:UFS, FFS, JFS
            交换文件系统:swap
            用户空间的分布式文件系统:mogilefs, moosefs,glusterfs

	文件系统管理工具:
        创建文件系统管理工具
			mkfs
				mkfs.ext2(无日志功能),mkfs.ext3, mkfs.ext4, mkfs.xfs,mkfs.vfat,…
        检测及修复文件系统的工具
          	fsck
            	fsck.ext2,fsck,ext3,….
        查看其属性的工具
            dumpe2fs, tune2fs
        调整文件系统特性:
            tune2fs
链接文件:访问同一个文件不同路径;
    硬连接:指向同一个inode的多个文件路径;
        特性:
         	(1)目录不支持硬连接;
      		(2)硬连接不能跨文件系统;
            (3)创建硬连接会增加inode路径;
        创建:ln命令
        	ln source_file link_file
	符号连接(软连接):指向一个文件路径的另一个文件路径;
		(1)符号链接与原文件是两个各自独立的文件,各有自己的inode;对原文件创建符号链接不会增加引用计数;		(2)支持对目录创建符号链接,可跨文件系统;
		(3)删除符号链接文件不影响原文件;但删除原文件,符号指定的路径即不存在,此时会变成无效链接;
    注意:符号链接文件的大小是其指定的文件的路径字符串的字节数;
        创建:ln -s 命令
			ln -s source_file link_file
 				-v:verbose显示过程
磁盘和文件系统管理:
	文件系统管理工具:
		创建文件系统管理工具
			mkfs
				mkfs.ext2(无日志功能),mkfs.ext3, mkfs.ext4, mkfs.xfs,mkfs.vfat,…
        检测及修复文件系统的工具
          fsck
            fsck.ext2,fsck,ext3,….
        查看其属性的工具
            dumpe2fs, tune2fs
        调整文件系统特性:
            tune2fs
	内核级文件系统的组成部分:
       	文件系统驱动:由内核提供
       	文件系统管理工具:由用户空间的应用程序提供
   	ext系列文件系统的管理工具:
	    mkfs.ext2(格式化操作),mkfs.ext3, mkfs.ext4
	    mkfs -t ext2=mkfs.ext2

	    ext系列文件系统专用管理工具:mke2fs
           	mke2fs [OPTIONS] device
                -t {ext2|ext3|ext4}: fs-type指明要创建的文件系统类型
                	mkfs.ext4=mkfs-t ext4=make2fs -t ext4
                -b {1024 | 2048 | 4096}: 指明文件系统的块block大小;
                -L LABEL: 指明卷标;不可超过16个字符;
                -j:创建有日志功能的文件系统ext4;
                    make2fs -j = mke2fs -t ext3 =mkfs -t ext3 =mkfs.ext3
                -i# :bytes-per-inde.指明inode与字节的比率;即每多少个自己创建一个Inode;
                -m#:reserved-blocks-percentage 指定预留的空间,百分比;
                -N#: last-mounted-directory直接指明要给次文件系统创建的inode的数量;
                -O[^]FEATURE:feature[,...]以指定的特性创建目标文件系统;
            e2label命令: Change the label on an ext2/ext3/ext4 filesystem卷标的查看与设定
                查看:e2label device
                设定:e2label device LABEL
            tune2fs命令:adjust tunable filesystem parameters on ext2/ext3/ext4 filesystems查看或修改ext系列文件系统的某些属性
                adjust tunable filesystem parameters on ext2/ext3/ext4 filesystems;
                注意:块大小创建后不可修改;
            tune2fs [OPTIONS] device 
                -l: 查看超级块的内容;
                	[root@centos6_7 ~]# tune2fs -l /dev/sda1
                	tune2fs 1.41.12 (17-May-2010)
					Filesystem volume name:   <none> //卷标名
					Last mounted on:          /boot  //最近挂载
					Filesystem UUID:          8880df83-5bf8-40db-bf6f-bf878b7a7e2e
					Filesystem magic number:  0xEF53
					Filesystem revision #:    1 (dynamic)  
					Filesystem features:      has_journal ext_attr resize_inode dir_index filetype needs_recovery extent flex_bg sparse_super huge_file uninit_bg dir_nlink extra_isize		//文件系统特性
					Filesystem flags:         signed_directory_hash //标志
					Default mount options:    user_xattr acl	//默认挂载选项
					Filesystem state:         clean		//状态干净或不干净
					Errors behavior:          Continue	
					Filesystem OS type:       Linux
					Inode count:              51200
					Block count:              204800
					Reserved block count:     10240
					Free blocks:              158257
					Free inodes:              51162
					First block:              1
					Block size:               1024
					Fragment size:            1024	//片段
					Reserved GDT blocks:      256
					Blocks per group:         8192
					Fragments per group:      8192
					Inodes per group:         2048
					Inode blocks per group:   256
					Flex block group size:    16
					Filesystem created:       Sun Aug 12 17:21:56 2018
					Last mount time:          Sat Sep 15 00:11:46 2018
					Last write time:          Sat Sep 15 00:11:46 2018
					Mount count:              6
					Maximum mount count:      -1
					Last checked:             Sun Aug 12 17:21:56 2018
					Check interval:           0 (<none>)
					Lifetime writes:          44 MB
					Reserved blocks uid:      0 (user root)
					Reserved blocks gid:      0 (group root)
					First inode:              11
					Inode size:	          128
					Journal inode:            8
					Default directory hash:   half_md4
					Directory Hash Seed:      80cf6de5-0a97-4d46-b1a9-98a33980d829
					Journal backup:           inode blocks
                修改指定文件系统的属性:
	                -j: ext2 –>ext3;
	                -L LABEL: 修改卷标;
	                -m#: 调整预留空间(给管理员)百分比;
	                -O[^]FEATHER: 开启或关闭某种特性;has_journal是ext3特性;
	                -o[^]mount-options: 开启或关闭某种默认挂载选项
	                    acl
	                    ^acl
            dumpe2fs命令:显示ext系列文件系统的属性信息
                dumpe2fs [-h] device
        用于手动实现文件系统检测的工具:fsck
			因进程意外中止或系统崩溃等原因导致定稿操作非正常终止时,可能造成文件损坏;此时,应该检测并修复文件系统;建议,离线进行;
	        ext系列文件系统专用工具:fsck,e2fsck
	        	e2fsck: check a Linux ext2/ext3/ext4 file system
				e2fsck: [OPTIONS] device
					-y: 对所有问题自动回答为yes;
					-f: 即使文件系统处于clean状态,也要强制检测;
				fsck: check and repair a Linux file system
					-t: fstype:指明文件系统类型;
						fsck -t ext4=fsck.ext4
					-a:无须交互而自动修复所有错误;
					-r:交互式修复;

Centos 6 如何使用xfs文件系统:
  	#yum -y install xfsprogs (能访问互联网就输入直接安装)
    或者
    	#cd/etc/yum.repos.d
    	#wget http://ip/源.repo
    	#mv CentOS-base.repo CenOS-Base.repo.bak

      	创建:mkfs.xfs
       	检测:fsck.xfs
    		mkfs -t ext2=mkfs.ext2
	blkid的命令:
        blkid device
        blkid -L LABEL: 根据LABEL定位设备
        blkid -U UUID: 根据UUID定位设备
swap文件系统:
	Linux上的交换分区必须使用独立的文件系统;且文件系统的Szystem ID 必须为82;
	创建swap设备:mkswap [OPTIONS] device
		-L LABER: 指明卷标
		-f: 强制

xfs文件系统在centos7中查看文件系统属性命令:xfs_info

Windows无法识别Linux的系统;因此,存储设备需要两种系统之间交叉使用时应该使用windows和Linux同时支持的文件系统:fat32(vfat);
	# mkfs.vfat device

文件系统的使用:
	首先要"挂载": mount命令和umount命令
        根文件系统这外的其他文件系统要想能够被访问,都必须通过"关联"至根文件系统上的某个目录来实现,此关联操作即为"挂载";此目录即为挂载点;
        挂载点:mount_point ,用于作为令一个文件系统的访问入口;
          	1.事先存在;
          	2.应该使用未被或不会被其他进程使用到的目录;
          	3.挂载点下原有的文件将会被隐藏;
mount命令:
    mount [-fnrsvw] [-t vfstype] [-o options] device dir
        命令选项:
        -r:readonly只读挂载;
        -w:read and write读写挂载;
        -n:默认情况下,设备挂载或卸载的操作会同步更新至/etc/mtab文件中;-n用于禁止此特性;
        -t:指明要挂在的设备文件系统类型;可省略,此时mount会通过blkid来判断要挂载的设备文件;
        -L LABEL:挂载时一卷标的方式指明设备;
        -U UUID:挂载时以UUID的方式指明设备;
            mount -U UUID diratime
        挂载选项:
        -o options
	        syunc/asyunc:同步/异步操作;数据一写就保存内存中的数据到硬盘中为同步;
	        atime/noatime:文件或目录在被访问时上是否更新其访问时间戳;
	        diratime/nodiratime:目录在被访问时是否更新其访问时间戳;
	        remount:重新挂载;
			acl:支持使用facl功能;
			    # mount -o acl device dir
			    # tune2fs -o acl device
			ro:只读
			rw:读写
			dev/nodev:此设备上是否允许创建设备文件;
			exec/noexec :是否允许自动运行设备上的程序文件;
			user/nouser:是否允许普通用户挂载此文件系统;
			auto/noauto:设备是否支持-a选项来实现自动挂载;
			suid/nosuid:是否允许suid和sgid特殊权限的程序生效;

			defaults默认:
				Use default options: rw, suid, dev, exec, auto, nouser, async, and relatime.

一个使用技巧:
	可以实现将目录绑定至另一个目录上,作为其临时访问入口;
		mount --bind 源目录 目标目录

查看当前系统所有已挂载的设备;
    mount
    cat /etc/mtab
    cat /proc/mounts
挂载光盘:
    mount -r /dev/cdrom mount_point
	光盘设备文件: /dev/cdrom, /dev/dvd
挂载U盘:
   	事先识别U盘的设备文件;
挂载本地的回环设备:
    mount -o loop /PATH/TO/SOME_LOOP_FILE mount_point
    umount1
    umount device |dir

umount命令:
	umount device|dir
	
	注意:正在被进程访问到的挂载点无法被卸载;
		umount: /: device is busy.
        (In some cases useful info about processes that use the device is found by lsof(8) or fuser(1))
     
查看被哪个或那些进程所占用;
    lsof MOUNT_POINT
    fuser -v MOUNT_POINT
终止所有正在访问某挂载点的进程;
	fuser -km mount_point
交换分区的启用和禁用:创建用mkswap [-c] [-f] [-p PSZ] [-L label] [-U uuid] device [size]

   	启用:swapon
        swapon [option][DEVICE] 
	        -a:定义在/etc/fstab文件这的所有swap设备;
   	禁用:swapoff
        swapoff DEVICE


设定除根文件系统以外的其他文件系统能够开机时自动挂载:/ect/fstab文件
	每行定义一个要挂载的文件系统及相关属性(vim /etc/fstab );
	[root@centos6_7 ~]# cat /etc/fstab

	#
	# /etc/fstab
	# Created by anaconda on Sun Aug 12 17:26:53 2018
	#
	# Accessible filesystems, by reference, are maintained under '/dev/disk'
	# See man pages fstab(5), findfs(8), mount(8) and/or blkid(8) for more info
	#
	UUID=c9b74b1a-41cd-4260-9444-6245ab833dd9 /                       ext4    defaults        1 1
	UUID=8880df83-5bf8-40db-bf6f-bf878b7a7e2e /boot                   ext4    defaults        1 2
	UUID=3144b92b-c079-4239-9a91-84111d2f1ac1 swap                    swap    defaults        0 0
	tmpfs                   /dev/shm                tmpfs   defaults        0 0
	devpts                  /dev/pts                devpts  gid=5,mode=620  0 0
	sysfs                   /sys                    sysfs   defaults        0 0
	proc                    /proc                   proc    defaults        0 0

   	6个字段:
		(1)要挂载的设备:
            设备文件:
            LABEL
            UUID      
            伪文件系统:如 sysfs, proc ,tmpfs等
		(2)挂载点
        	swap类型的设备的挂载点为swap;
		(3)文件系统类型
		(4)挂载选项
        	defaults :使用默认挂载选项;
        	如果要同时指明读个挂载点选项,彼此间以事情分隔;
        	defsults, acl , noatime ,noexec
		(5)转储频率:
	        0:从不备份
	        1:每天备份
	        2:每隔一天备份
		(6)自检次序
	        0:从不自检
	        1:首先自检,通常只能是根文件系统可用;
	        2:次级自检
	        ...
	    mount -a 可自动挂载定义在此文件中的所支持自动挂载的设备(vim /etc/fstab );

df和du命令:
    df [option]....file..	显示文件系统利用率report file system disk space usage
        -l:仅显示本地文件的相关信息blocks;
        -h:显示容易识别信息状态;
        -i:显示inode的使用状态而非blocks;
    du [option]....file..	显示文件真实大小estimate file space usage
        -s :sumay整体显示
        -h :human -readable

练习:
	1.创建一个10G的分区,并格式化为ext4文件系统;
		#fdisk /dev/sda? 
		...
		# partx -a /dev/sdb
		#mkfs.ext4 /dev/sda?
		(1)block大小为2048;预留空间2%,卷标为mydata;
		(2)挂载至/mydata目录,要求挂载时禁止程序自动运行,且不更新文件的访问时间戳;
		(3)可开机自动挂载;
		#mke2fs -L 'mydata' -m 2 -b 2048 /dev/sda?
		#mkdir /mydata
		#mount -o noatime,noexec /dev/sda? /mytdata
		#vim /etc/fstab  //  >> /dev/sda? /mydata defaults 0 0
		#mount -a
	2.创建一个大小为1G的swap分区,并启用;
		# fdisk /dev/sda?
		...
		# partx -a /dev/sda?
		# mkswap /dev/sda? 1G
		# swapon -a /dev/sda?

总结:文件系统管理
	管理工具:mkfs,mke2fs,e2label,tune2fs,dumpe2fs,e2fsck,blkid
		mkfs.xfs,mkfs.vfat,fsck
		mkswap,swapon,swapoff
		mount,umonut
		df,du
	fstab文件:
		设备 挂载点 文件系统类型 挂载选项 转储频率 自动次序
	文件系统:
		目录:文件
			元数据:inode
			数据:data blocks
		文件名:上级目录;
		删除文件:将此文件指向的所有data block标记为未使用状态;将此文件的inode标记为未使用;
		复制和移动文件:
			复制:新建文件;
			移动:
				在一个文件系统:仅改变其路径;
				在不同文件系统:复制数据至目标文件,并删除原文件;
		符号/软链接:
			权限:lrwxrwxrwx
		硬链接:指向同一个inode;


					
btrfs文件系统:
	参考:https://www.ibm.com/developerworks/cn/linux/l-cn-btrfs/index.html
	技术预览版

	Btrfs (B-tree, Butter FS, Better FS), GPL, Oracle, 2007, CoW; 
	ext3/ext4, xfs

	核心特性:
		多物理卷支持:btrfs可由多个底层物理卷组成;支持RAID,以联机“添加”、“移除”,“修改”;
		写时复制更新机制(CoW):复制、更新及替换指针,而非“就地”更新;
		数据及元数据校验码:checksum
		子卷:sub_volume
		快照:支持快照的快照;
		透明压缩:

	文件系统创建:
		mkfs.btrfs
			-L 'LABEL'
			-d <type>: raid0, raid1, raid5, raid6, raid10, single
			-m <profile>: raid0, raid1, raid5, raid6, raid10, single, dup
			-O <feature>
				-O list-all: 列出支持的所有feature;

		属性查看:
			btrfs filesystem show 

		挂载文件系统:
			mount -t btrfs /dev/sdb MOUNT_POINT

		透明压缩机制:目前 btrfs 采用 zlib 提供的 DEFALTE/INFLATE 算法进行压缩和解压;
			mount -o compress={lzo|zlib} DEVICE MOUNT_POINT

	子命令:
		1.修改文件系统大小,默认800;Mfilesystem(resize);
			btrfsctl -r 300M /mount_point
		2.添加新设备;device(add,delete)
			#btrfs-vol – a /dev/sda8 /btrfsdisk
		3.balance(start)

		4.子卷;subvolume(list,create,delete)
			#mkdir /mnt/test 
			#btrfsctl – s sub1 /btrfsdisk 
			#mount – t btrfs – o subvol=sub1 /dev/sda5 /mnt/test		
		5.创建快照snapshot
			 #ls /btrfsdisk 
			 test1 test2 
			 #vi test1 
			 This is a test 
			 #btrfsctl – s snap1 /btrfsdisk 
			 #vi test1 
			 Test1 is modified 
			 #cd /btrfsdisk/snap1 
			 #cat test1 
			 This is a test	

	博客作业:btrfs管理及应用

	常用文件系统性能对比:http://www.cnblogs.com/tommyli/p/3201047.html

  

  

转载于:https://www.cnblogs.com/liuyuanq/p/9915615.html

  • 0
    点赞
  • 0
    收藏
    觉得还不错? 一键收藏
  • 0
    评论

“相关推荐”对你有帮助么?

  • 非常没帮助
  • 没帮助
  • 一般
  • 有帮助
  • 非常有帮助
提交
评论
添加红包

请填写红包祝福语或标题

红包个数最小为10个

红包金额最低5元

当前余额3.43前往充值 >
需支付:10.00
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明:

1.余额是钱包充值的虚拟货币,按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载,可以购买VIP、付费专栏及课程。

余额充值