linux 一些命令[上]

linux 一些命令[上]

fdisk 磁盘分区

1. 查看分区信息
fdisk -l  
2. 创建分区
fdisk /dev/sda  #通过 1 查看未分区磁盘
依次输入 n p 回车 回车(或者指定大小 +xxxm)  w (也可以再细分)
类型默认普通类型 83  swap 类型 83  动态类型(自动扩容) 8e
3. 删除分区
fdisk /dev/sdb
d 按指令输入
4. 切换类型 w 前输入 t 切换

partx -a /dev/sdb 重读分区

cat /proc/pactitions 分区信息存储文件

parted 分区

< 2T 用fdisk > 2T 用 parted

parted /etc/sdb
mklbel gpt   # 类型
mkpart primary/logical 0 500 # 分区 (start, end) 
q  # 退出

文件系统

VFS 虚拟文件系统，抽象出来调度不同文件类型格式的文件系统中交互

linux文件系统类型格式有

• ext2
• ext3 centos5
• ext4 centos6
• xfs centos7

网络共享文件系统

nfs network File system

smb server message block 服务消息块

集群文件系统

gfs google file system

ocfs oracle cluster file system oracle 数据库定制文件系统

cepe 为了存储的可靠性和扩展性分布式文件系统

交互文件系统

swap 虚拟内存

文件系统主要区别在于是否是日志型文件系统

mkfs 格式化文件系统

mkfs.xfs  /etc/sdb

fsck 修复文件系统

默认读取 /etc/fstab 开机挂载文件

fsck -t ext4  /etc/sdb

mount 挂载

mount /dev/sdb /mnt   # 挂载命令, 需要先格式化后挂载
umount /mnt   # 取消挂载，前提无人使用

mount -o 参数
		async 异步处理文件系统，加速写入，数据不会同步写入磁盘，写入一个缓冲区提高性能，损失一定安全性
  	sync  同步处理文件系统
    atime/noatime 是否记录修改时间
    defaults  默认所有
    exec/noexec  是否允许挂载点内的可执行命令
    ro 只读
    rw  读写
    
    att2 磁盘上存储内连扩展属性，提升性能
    inode64  允许在文件系统的任意位置创建inode
    noquota  强制关闭文件系统的限额功能
    
mount -o  ro /dev/sdb /mnt

挂载信息在 /etc/fstab 文件目录下
开机自动挂载，将挂载信息写入这个文件就行

swap 交换分区

centos7 计算swap分区如下
-内存小于2G swap 和内存设置大小相同
-内存大于2G swap 设置2G

设置swap分区

1. 给磁盘分区，指定swap类型 
2. 格式化 mkswap  /dev/sdb
3. 使用  swapon /dev/sdb
4. 关闭  swapoff /dev/sdb

清除linux缓存

1. 释放cache的命令
		echo 1 > /proc/sys/vm/drop_caches 等同于 sysctl -w  vm.drop_caches=1
2. 清理目录缓存和inodes
    echo 2 > /proc/sys/vm/drop_caches  等同于 sysctl -w  vm.drop_caches=2
3. 清除内存页的缓存
    echo 3 > /proc/sys/vm/drop_caches  # sysctl -w vm.drop_caches=3
上述是临时释放缓存命令，不建议有程序在使用缓存是使用
可以写入 /ect/sysctl.conf 中，永久生效

清理文件系统和僵尸进程  sync 命令  
sync 作用，将内存缓冲区的数据，写入到磁盘中

df du 命令

df 命令 是用来检查挂载点
df -h/-i   显示挂载信息。
		-h 显示kb, mb单位大小
		- i显示已 inode 数量
也可以 df -Th 加上挂载文件类型

du 命令是 用来查看文件大小命令（linux 文件存储的最小单位是4kb）

du -h   #显示 文件大小 以 kb mb 单位显示
du -h * #显示当前目录/ 把 * 换成指定文件 显示指定文件大小
du -a   #显示目录中所有文件大小

du -ah --max-depth=1 /opt   显示目录下文件大小深度
du -ah --exclude="*.pyc" /opt 显示除 .pyc 文件大小

raid 命令

raid 即 磁盘阵列冗余技术

用途：将多块独立的硬盘，组成一个容量更大，安全性更高的磁盘阵列组，将数据切位多个区段之后，分别存储在不同的物理硬盘上。利用分散读写技术提升磁盘的整体性能。 数据同步在不同的多个磁盘上， 也能得到冗余备份的作用

特性：能够保证数据安全性，但是也增加了磁盘的成本，能够保障数据丢失造成的严重损失，提升硬盘读写效率。被广泛的使用

基本原理

raid 技术分为 raid 0  raid 1 raid 3 raid 5 	 raid 10

###  raid 0 
raid 0 特点是将数据依次写入两块硬盘中，理想情况下写入速度翻倍
但是 如果坏了一块硬盘，数据都会被破坏， 没有备份功能。只追求性能，数据安全性低
###  raid 1
raid 1  将两块以上的硬盘绑定，数据写入时，同时写入多块数据， 即使硬盘故障损坏，也有备份
但 极大的降低了硬盘存储的利用率，2块硬盘 只有 50% 的利用率
###  raid 3  必须三块硬盘以上
基于异或运算原理
计算机异或运算:  数字相同则为 0 不同则为 1

磁盘异或运算  A 异或 B 异或 C
多个值异或计算的概念
		1 的个数是奇数，结果为 1
		1 的个数是偶数，结果为 0
异或的作用，只要知道异或的结果，任何一个值都能被反推出来，且只有 0 和 1

raid 3 的特点，存储着异或值的磁盘不得损坏(同时坏两块)，成本较高

### raid 5 必须四块硬盘以上
校验码均匀的放在每一块硬盘上，因此，即使挂了任意一块硬盘，都能反推出原本的数据

### raid 10  raid 0 + raid 1 技术
先通过raid 1，实现备份，保证数据安全性
再通过raid 0 ，加快写入速度

数据冗余性能 raid 1> raid 10 > raid 5 > raid 0

数据读写性能 raid 0> raid 10 > raid 5 > raid 1

成本 raid 0 > raid 10 > raid 1 > raid 5

硬raid 和 软raid

软raid 通过软件代码实现

硬raid 就是厂商提供 raid 阵列卡，由raid 卡上的主控芯片去操作磁盘

区别

软 raid 会额外消耗cpu资源 ，造成服务器压力

硬raid 更加稳定，软 raid 可能会造成 磁盘发热过量，造成损坏

硬raid 兼容性更好，软 raid 兼容性依赖于操作系统，可能会出问题

硬raid 除了成本，完胜软raid

对应场景和选择方案

1. 单台服务器，数据重要，建议 raid 1
2. 数据存储服务器(主服务器raid10) 从服务器(raid5 , 减少成本)
3. web 服务器， 没有太多数据的，建议raid5，raid0
4. 应用服务器，和数据交互的，建议 raid 0 ，raid 5（提升速率）

案例

raid 10 的使用过程 (四块磁盘)

 ls /dev/sd* # 查看硬盘
 
以 sdb sdc sdd  sde 四块磁盘为例子

# 下载一个 mdadm 用于建设，管理和监控RAID技术的命令
1. yum install -y mdadm

2. mdadm -Cv /dev/md0 -a yes -n 4 -l 10 /dev/sdb  /dev/sdc  /dev/sdd /dev/sde

	-C 表示创建RAID 阵列
	-v 显示创建过程
	-n 4 表示用4块硬盘创建
	-l 10 表示指定 raid 级别
	/dev/md0 阵列名称
	
3. 格式化文件系统为 xfs
	mkfs.xfs /dev/md0
4. 	用mount 进行挂载 

raid 10 故障修复，重启与卸载

故障修复
0. 查看raid 10 状态
	mdadm -D /dev/md0
	查看 Devices 相关信息, 找到坏掉的硬盘
	
1. 删除一块硬盘
	mdadm /dev/md0 -f /dev/sdb 

2. 重新加入硬盘(前提需要停止使用，重启机器，取消挂载)
	mdadm /dev/md0 -a /dev/sdb 然后等待修复完毕即可
	
重启
1. 创建一个raid 配置文件
	echo DEVICE /dev/sd[b-e] > /etc/mdadm.conf
2. 扫描磁盘阵列信息，追加到这个文件中
	mdadm -Ds >> /etc/mdadm.conf
3. 取消挂载
	umount /home
4. 停止raid 10
	mdadm -S /dev/md0
5. 检查raid 信息
	mdadm -D /dev/md0  # 正常应该看不到任何信息
6. 重启raid 10 
	mdadm -A /dev/md0
7. 检查，这时正常能看到raid10 的信息

卸载
1. 卸除挂载
	umount /home
2. 停止 raid 10
	mdadm -S /dev/md0
3. 卸载磁盘
	mdadm --misc --zero-superblock /dev/sdb
	mdadm --misc --zero-superblock /dev/sdc
	mdadm --misc --zero-superblock /dev/sdd
	mdadm --misc --zero-superblock /dev/sde
4. 删除重启配置文件
	rm -rf /etc/mdadm.conf
5. 删除开机自动挂载信息
	vim /etc/fstab

lvm逻辑卷技术

raid 技术，能够提供硬盘的读写效率，已经数据的安全性，但当配置好后，容量的大小，都被限制住了，如果存储的业务非常多，磁盘容量不够用就会出问题，并且raid 的磁盘扩容非常麻烦，并且只能冷扩容

不同的磁盘分区，相对都是独立的。没有任何联系，空间利用率很低

如果某一个分区满了，默认的磁盘管理无法直接扩容，只能重新分区，重新分配容量大小，创建文件系统，很麻烦

如果要合并分区，也得重新格式化磁盘分区，还要进行数据备份

为了解决以上缺点，lvm （logical volume manager）逻辑卷管理技术 被用来解决这块问题

Lvm 技术，就是将一个或者多个硬盘逻辑上进行了合并，相当于一个大的硬盘去使用，当你的硬盘不够了，就会自动使用其他硬盘中容量。动态扩容

LVM的使用方式

1. 基于分区形式创建lvm

   硬盘的多个分区，由lvm统一进行管理为卷组，可以弹性的调整卷组的大小，加入新硬盘，可以充分的利用磁盘容量

   文件系统是创建在逻辑卷上，逻辑卷可以根据需求改变大小（总容量控制在卷组中）

2. 基于硬盘创建lvm

   多块硬盘做成逻辑卷，将整个逻辑卷统一管理，对分区进行动态扩容

LVM 常见名词解析

PP (pyhsical parttion), 物理分区，lvm直接创建在物理分区上
PV (pyhsical volume)， 物理卷，处于lvm的最底层。一般一个PV对饮一个PP
PE（physical extends）, 物理区域， PV中可以用于分配的最小存储单位，同一个VG所有的PV中的PE大小相同
VG (volume group)， 卷组，卷组创建在pv之上，可以划分为多个PV
LE (logical extends) 逻辑扩展单元, LE 是组成 LV的基本单元，一个LE对应一个PE
LV（logical volume） 逻辑卷，创建在VG之上，是一个可以动态扩容的分区概念

LVM 原理

• LVM 动态扩容大小，其实就是通过互相交换PE的过程，达到弹性扩容分区大小
• 减少空间容量，就是剔除PE的大小
• 扩大容量，就是把其他的PE添加到自己的LV中
• PE默认大小一般是4M，LVM 最多可以创建出65534个PE，因此LVM最大的VG卷组单位是256G
• LV 是逻辑卷的概念，（和普通分区类似）

优点：lvm 的文件系统可以跨多个磁盘，分区大小不受磁盘容量限制 可以在系统运行中，直接动态扩容文件系统大小 可以直接增加新的硬盘，到lvm的vg卷组中

LVM 创建流程

1. 物理分区阶段，针对物理磁盘或者分区，进行fdisk格式化，修改系统id，默认83 改为 8e 类型，lvm 类型
2. PV 阶段，通过pvcreate，pvdisplay 将linux 分区改为物理卷PV
3. 创建VG卷组，vgcreate vgs 显示卷组信息
4. 创建 LV 逻辑卷， lvcreate vgs 显示卷组信息
5. 开始格式化文件系统，使用lv分区

lvm的管理常见命令

1. pv
	pvcreate   创建物理卷
	pvs    扫描简单信息
	pvscan  扫描物理卷组信息
	pvdispaky  显示各个物理卷的详细信息
	pvremove  删除物理卷

2. vg 卷组
	vgcreate
	vgscan
	vgdisplay
	vgreduce   缩小卷组，把物理卷从卷组中移除
	vgextend   扩大卷组，把某个新的物理卷，加入到卷组中
	vgremove   删除整个卷组

3. lv逻辑卷
	lvcreate
	lvscan
	lvdisplay 
	lvs
	lvextend
	lvreduce
	lvremove 

案例

### 提前进行磁盘物理分区，将分区类型设置为 8e 类型
1. 创建pv
[root@linux localhost]# pvcreate /dev/sdc1 /dev/sdc2
  Physical volume "/dev/sdc1" successfully created
  Physical volume "/dev/sdc2" successfully created
2. 创建vg资源池
[root@linux localhost]# vgcreate  vg0  /dev/sdc1  /dev/sdc2
  Volume group "vg0" successfully created
[root@linux localhost]# vgs
  VG   #PV #LV #SN Attr   VSize  VFree 
  vg0    2   0   0 wz--n- 14.99g 14.99g
[root@linux localhost]# vgdisplay
  --- Volume group ---
  VG Name               vg0
  System ID             
  Format                lvm2
  Metadata Areas        2
  Metadata Sequence No  1
  VG Access             read/write
  VG Status             resizable
  MAX LV                0
  Cur LV                0
  Open LV               0
  Max PV                0
  Cur PV                2
  Act PV                2
  VG Size               14.99 GiB
  PE Size               4.00 MiB
  Total PE              3838
  Alloc PE / Size       0 / 0   
  Free  PE / Size       3838 / 14.99 GiB
3. 创建lv
[root@linux localhost]# lvcreate -L +3G -n lv0  vg0
  Logical volume "lv0" created.
[root@linux localhost]# lvs
  LV   VG   Attr       LSize Pool Origin Data%  Meta%  Move Log Cpy%Sync Convert
  lv0  vg0  -wi-a----- 3.00g  
4. 格式化分区
[root@linux localhost]# mkfs.xfs  /dev/vg0/lv0
meta-data=/dev/vg0/lv0           isize=256    agcount=4, agsize=196608 blks
         =                       sectsz=512   attr=2, projid32bit=1
         =                       crc=0        finobt=0
data     =                       bsize=4096   blocks=786432, imaxpct=25
         =                       sunit=0      swidth=0 blks
naming   =version 2              bsize=4096   ascii-ci=0 ftype=0
log      =internal log           bsize=4096   blocks=2560, version=2
         =                       sectsz=512   sunit=0 blks, lazy-count=1
realtime =none                   extsz=4096   blocks=0, rtextents=0
5. 挂载后就可以使用了，也可以写入 /etc/fastab 后加入开机自动加载，或者 通过 mount -a 重载
[root@linux localhost]# mount /dev/vg0/lv0  /lvdir

6. LV 扩容, 扩容后需要刷新文件系统  扩容(缩容)之前建议先取消挂载，让文件系统处于稳定状态，避免潜在风险
[root@linux localhost]# umount /lvdir
[root@linux localhost]# lvextend -L +5G  /dev/vg0/lv0
  Size of logical volume vg0/lv0 changed from 3.00 GiB (768 extents) to 8.00 GiB (2048 extents).
  Logical volume lv0 successfully resized.    
[root@linux localhost]# mount /dev/vg0/lv0  /lvdir
[root@linux localhost]# xfs_growfs  /dev/vg0/lv0

7. LV 缩容 
[root@linux localhost]# lvreduce -L -5G  /dev/vg0/lv0  

卸载流程

1. 取消挂载
[root@linux localhost]# umount  /lvdir
2. 删除lv
[root@linux localhost]# lvremove  /dev/vg0/lv0  
3. 删除vg
[root@linux localhost]# vgremove  vg0
4. 删除pv
[root@linux localhost]# pvs   # 查看卷组
[root@linux localhost]# pvremove /dev/sdc1 /dev/sdc2   # 删除卷组