Storage Administration Guide 阅读总结(Redhat官方文档)

原创 2013年12月02日 20:50:55
/proc/devices:显示当前配置好了的字符设备与块设备;
/proc/filesystems:列出当前所有支持的文件系统;

/proc/mdstat:系统中MD或RAID的配置信息;

/proc/mounts:列出当前挂载了的文件系统;

/proc/partitions:块设备的分区信息;

忽略未使用的块:discard unused blocks
fstrim 命令;
文件系统底层是否支持:
/sys/block/device/queue/discard_max_bytes不为0

1.BTRFS特性:
BTRFS文件系统内部包含了一些工具:
Built-in System Rollback:内建系统回滚,使用快照,可以从错误状态回滚到先前已知的良好状态。
Built-in Compression:内建压缩,或节省空间
Checksum Functionality:改善错误检测。
Specific features include integrated LVM operations, such as:
动态,在线添加或删除新的存储设备
跨组件设备内部的RAID支持
使用不同的RAID级别的元数据或用户数据的能力
全校验功能,所有的元数据和用户数据。


2.EXT3:
ext2-->升级到ext3: tune2fs -j blockdevice;
还原到ext2: tune2fs -O ^has_journal blockdevice
e2fsck -y blockdevice

3.EXT4特性:
1.使用extents,提高性能。(而不是像EXT2/3那样基于块映射)
2.永久预分配:Persistent pre-allocation。
廷迟分配:Delayed allocation。
多块分配:Multi-block allocation。
条带感知分配:Stripe-aware allocation。
3.扩展属性:Extended attributes(xattr).
4.日志配额:Quota journaling。
5.秒级时间戳:subsecond timestamps.
默认情况下,ext3几乎立刻把脏数据写到磁盘,即使不调fsync()。
这种行为的错误藏在不使用的fsync()的程序,以确保写入数据是在磁盘上。 
ext4文件系统中,往往会等待几秒钟的时间写到磁盘,允许多个写结合起来,并重新排序写入,以获得更好的磁盘性能。

mkfs.ext4 -E stride=16,stripe-width=16 /dev/device
stride:chunk大小,条块大小。
stripe-width:条带的大小。块以block 为单位。
(在lv或raid设备上创建文件系统时,可以自动感知。
如果在单设备上指定可以解决想格式化大块但不能用的问题)

ext4文件系统增大与缩小:
增大:resize2fs /mount/device node

缩小:resize2fs /dev/device  size(s=512 byte sectors,K=kilobytes,M=megabytes,G=gigabytes)

工具:
e2fsck:ext4文件系统修复工具。
e2label:更改标签。
quota:控制或报告磁盘使用空间。
debugfs:
e2image:保存元数据到文件。


4.xfs特性:
1.支持元数据日志,更快的恢复时间。
2.基于区块的分配:Extent-based allocation
条带感知分配:Stripe-aware allocation policies
廷迟分配:Delayed allocation(调用fsync()前,不确定数据是否写入磁盘)
空间预分配:Space pre-allocation
3.扩展属性:Extended attributes(xattr).
4.日志配额:Quota journaling。
5.工程目录配额:Project/directory quotas.
6.秒级时间戳:subsecond timestamps.

mkfs.xfs -d su=64k,sw=1 /dev/device
su=sunit:条块大小
sw=swidth:条带大小

工具:
配额管理:xfs_quota
增大工具:xfs_growfs:/mount/device -D size
修复工具:xfs_repair:/dev/device  
暂停(suspending)XFS(freeze):
挂起: xfs_freeze -f /mount/point
恢复:   unfreeze: xfs_freeze -u /mount/point
备份/还原:xfsdump/xfsrestore
xfsdump -l (为了支持增量备份的备份级别0-9) -f /dev/device /path/filesystem
xfs_fsr:碎片整理
xfs_bmap:打印文件系统块位图
xfs_info:打印文件系统信息
xfs_admin:更改文件系统参数
xfs_copy:并行的拷贝文件系统
xfs_metadump:拷贝文件系统元数据到文件
xfs_mdrestore:恢复元数据镜像
xfs_db:debug文件系统

5.GFS:gfs.ko 
实现集群文件系统,采用分布式元数据和多种日志。

6.NFS:
NFSv2:(UDP)最老,广泛支持。
NFSv3:(UDP)支持安全的异步写,错误处理更强状比NFSv2.支持64位的大小与偏移
NFSv4:(TCP:2049)通过防火墙,不再需要 rpcbind服务.支持pNFS(NFSv4.1)
服务:
nfs:service nfs start 开启NFS服务;
nfslock:service nfslock start 激活强制服务,启动相应的RPC进程,允许NFS客户端锁定服务器上的文件;
rpcbind: 接受本地RPC服务端口注册,并响应客户请求。
配置:/etc/exportfs
exportpath host1(options1) host2(options2)

帮助进程:
rpc.mountd:些进程帮助NFS服务器处理来自NFSv2和NFSv3的客户端安装请求。它检查所请求的NFS共享与NFS服务器导出的共离,如果装入请求被允许,就回复一个Success状态,并提供这个共享的NFS文件句柄给NFS客户端。

rpc.nfsd:nfs服务进程

lockd:是一个运行在客户端和服务器内核线程。它实现了网络锁定管理(NLM )协议,它允许NFSv2和NFSv3的客户锁定服务器上的文件。NFS服务运行时会自动启动。

rpc.statd:它实现了网络状态监视( NSM ) RPC协议,当一个NFS服务器重新启动时
通知NFS客户端。rpc.statd是由nfslock服务自动启动,不需要用户的配置。NFSv4中不在使用。

rpc.rquotad:提供用户配额信息给远程用户,由NFS服务自动启动,不需要用户的配置。

rpm.idmapd:NFSv4客户端与服务端的用户名在线映射,user@domain-->UIDS,GIDS,
通过/etc/idmapd.conf配置。

pNFS:pNFS的架构提高了NFS的可扩展性与性能。也就是说,当一台服务器实现了pNFS 一个客户端可以通过多台服务器同时访问数据。
它支持三种存储协议或布局:文件,对象和块。

使用这个功能:mount -o minorversion=1 或 -o v4.1
当pNFS开启后,第一次 mount时,nfs_layout_nfsv41_files模块会自动加载。
lsmod | grep nfs_layout_nfsv41_files

NFS客户端:
mount -t nfs -o options host:/remote/export /local/directory
NFS over RDMA: yum install rdma
mount -t nfs -o rdma ...

使用fstab挂载:
server:/usr/local/pub    /pub   nfs    defaults 0 0

当使用fstab资源太多时可使用autofs; yum install autofs;
基于内核的automount工具:一个内核模块和一个用户空间守护进程。支持NFS,afs,smbfs,cifs,本地文件系统.
配置文件:/etc/auto.master
格式:mount-point map-name options

FS-CACHE:把网络文件系统从网络上接收到的数据缓存在本地磁盘。
守护进程:cachefilesd
配置文件:/etc/cachefilesd.conf

swap 分区:
关闭swap分区:swapoff -v /dev/vg1/lv1
增大LV:lvresize /dev/vg1/lg1 -L +2G ;lvreduce /dev/vg1/lv1 -L -512M
创建SWAP分区:mkswap /dev/vg1/lv1
开启SWAP分区:swapon -v /dev/vg1/lv1
swap file:
dd if=/dev/zero of=/swapfile bs=1024 count=1024
mkswap /swapfile
swapon /swapfile
/swapfile swap swap defaults 0 0

磁盘配额quotas:
1.使能quotas在/etc/fstab中
/dev/vg0/lv1 /homeext3defaults,usrquota,grpquota12
2.重新挂载
mount -a ;mount -o remount /home
3.创建quota数据库文件和产生磁盘使用表
quotacheck -cug /home;//产生aquota.user ,aquota.group
quotacheck -avug ;产生使用情况表
4.指定quota策略
#edquota username 或edquota -g groupname
Disk quotas for user username (uid 1000):
  Filesystem                   blocks       soft       hard     inodes     soft     hard
  /dev/sdb4                         8          0          0          1        0        0
blocks:当前已使用的块数。
soft/hard:用来设置在文件系统中用户的软/硬块限制。
inodes:当前已使用的inodes节点数。
soft/hard:用来设置文件系统中用户的软/硬inodes节点限制。

确认设置:#quota username或quota -g groupname

#edquota -t 设置软限制的宽限期

quota管理:
#quotaoff -vaug 关闭
#quotaon -vaug 打开
#repquota /demo或-a 报告磁盘配额情况

RAID:
linux软RAID子系统:mdraid,dmraid
raid类型: Fireware RAID(ATARAID),固件配置菜单,如加入bios。
Hardware RAID,独立于主机的RAID子系统。
Software RAID,内核块设备层实现不同的RAID级别。MD驱动。
软RAID特性:
》多线程设计
》没有重构前的LINUX机器可移植性
》系统空闭时后台重建
》热插拨支持
》自动探测CPU可用的优化特征,如SIMD
》阵列中坏块的自动校正
》定期的一致性数据校验,确保阵列正常
》主动监测,并发送指定的邮件
》write-intent位图确保内核对磁盘部分同步,而不是同步整个阵列
》重新同步检查点,接着上次的同步点同步,而不是重头开发
》支持阵列安装后的参数更改

RAID级别:0(条带raid),1(镜像raid),4(单个磁盘保存奇偶校验),5(平均分布保存奇偶校验),
6(复杂的校验算法确保两个磁盘损坏是的数据恢复),10,linear(线性raid)

ACL:
两种类型:access ACLs(对指定的目录与文件),default ACLs(只能与目录相关联)。
设置ACL:
# setfacl -m rules files
-m:添加或修改文件与目录的访问控制列表
-x:删除
rules:规则
u:uid:perms -->针对用户(perms是r,w,x的组合)
g:gid:perms -->针对用户组
o:perms -->针对其它用户
m:perms -->设置权限掩码
d: (规则前加d:是对默认的ACL设置,只能是目录)
例:
# setfacl -m u:andrius:rw /project/somefile
# setfacl -x u:500 /project/somefile

查看ACL:
getfacl files/dirc
(要注意文件dump备份时,cp拷贝时,tar打包时的ACL,权限位与SElinux context的保存)。

SSD:可以空出一部分空间来保证损耗均衡.(如果厂商支持,可以发送TRIM的ATA命令,UNMAP的SCSI命令来保留一部分块空间).是否支持discard,查看/sys/block/sda/queue/discard_granularity.
For more information about TRIM, refer to its Data Set Management T13 Specifications from the following link:
http://t13.org/Documents/UploadedDocuments/docs2008/e07154r6-Data_Set_Management_Proposal_for_ATA-ACS2.doc
For more information about UNMAP, refer to section 4.7.3.4 of the SCSI Block Commands 3 T10 Specification from the following link:
http://www.t10.org/cgi-bin/ac.pl?t=f&f=sbc3r26.pdf

IO调度:起动参数:全局设置‘elevator=deadline’
查看当前IO调度:cat /sys/block/DEV/queue/scheduler
设置IO调度:echo SCHEDNAME > /sys/block/DEV/queue/scheduler

重新扫瞄添加设备
echo "- - -" > /sys/class/scsi_host/hostn/scan
停止设备:
echo offline > /sys/block/sdb/device/state
启动设备: 
echo running > /sys/block/sdb/device/state 
修改SCSI命令超时时间:
echo 30 > /sys/block/device-name/device/timeout

相关文章推荐

使用CacheFiles缓存,减少网络IO

CacheFiles是NFS缓存功能的文件系统之一,还有一个是CacheFS。关于FS-Cache、CacheFiles、CacheFS三者之间的区别,可以查看:https://people.redh...

给定A, B两个整数,不使用除法和取模运算,求A/B的商和余数

给定A, B两个整数,不使用除法和取模运算,求A/B的商和余数。 1.   最基本的算法是,从小到大遍历: for (i = 2 to A -1)          if (i * B > A)...

利用K-means聚类算法根据经纬度坐标对中国省市进行聚类

K-means聚类算法是一种非层次聚类算法,在最小误差的基础上将数据划分了特定的类,类间利用距离作为相似度指标,两个向量之间的距离越小,其相似度就越高。程序读取全国省市经纬度坐标,然后根据经纬度坐标进...

Radon变换理论介绍与matlab实现--经验交流

本人最近在研究Radon变换,在查阅了各种资料之后在此写下个人的理解,希望与各位牛牛进行交流共同进步,也使得理解更加深刻些。 Radon变换的本质是将原来的函数做了一个空间转换,即,将原来的XY平...

CT图像重建技术

由于csdn贴图不方便,并且不能上传附件,我把原文上传到了资源空间CT图像重建技术 1.引言 计算机层析成像(Computed Tomography,CT)是通过对物体进行不同角度的射线投影测量而...

Matlab绘图-很详细,很全面

Matlab绘图强大的绘图功能是Matlab的特点之一,Matlab提供了一系列的绘图函数,用户不需要过多的考虑绘图的细节,只需要给出一些基本参数就能得到所需图形,这类函数称为高层绘图函数。此外,Ma...

linux查找目录下的所有文件中是否含有某个字符串

查找目录下的所有文件中是否含有某个字符串  find .|xargs grep -ri "IBM"  查找目录下的所有文件中是否含有某个字符串,并且只打印出文件名  find .|xargs g...

Radon变换入门matlab CT原理

http://hi.baidu.com/hi9394/blog/item/0d492b8bfd714700c8fc7aa9.html 简介 图像投影,就是说将图像在某一方向上做线性积分(或理解为累...

Excel2016右键新建工作表,打开时提示“因为文件格式或文件扩展名无效。请确定文件未损坏,并且文件扩展名与文件的格式匹配。”的解决办法

上午新建excel工作表时,发现新建完之后居然打不开 提示: 尼玛这坑爹的,难道我的Excel坏了?? 排查问题之后发现 只有新建“Microsoft Excel 工作表”时...

js弹出框、对话框、提示框、弹窗总结

js弹出框、对话框、提示框、弹窗总结 一、JS的三种最常见的对话框 [javascript] view plaincopy //=...
内容举报
返回顶部
收藏助手
不良信息举报
您举报文章:Storage Administration Guide 阅读总结(Redhat官方文档)
举报原因:
原因补充:

(最多只允许输入30个字)