文件查找和打包压缩

1 文件查找：

在文件系统上查找符合条件的文件
文件查找：

• 非实时查找：locate
  • 实时查找：find

1.1 locate

• locate查询系统上预建的文件索引数据库 /var/lib/mlocate/mlocate.db
• 索引的创建是在系统较为空闲时自动进行(周期性任务)，执行updatedb可以更新数据库
• 索引构建过程需要遍历整个根文件系统，很消耗资源
• locate和updatedb命令来自于mlocate包
  工作特点：
• 查找速度快
• 模糊查找
• 非实时查找
• 搜索的是文件的全路径，不仅仅是文件名
• 可能只搜索用户具备读取和执行权限的目录
  格式：

locate [OPTION]... [PATTERN]...

常用选项：

-i	不区分大小写
-n N	只列举前N个匹配项目
-r	使用基本正则表达式

1.2 find

find 是实时是查找工具，通过遍历指定路径完成文件查找
工作特点：

• 查找速度略慢
• 精确查找
• 实时查找
• 查找条件丰富
• 可能只搜索用户具备读取和执行权限的目录
  格式：

  find [OPTION]... [查找路径] [查找条件] [处理动作]
  

查找路径：指定具体目标路径；默认为当前目录
查找条件：指定的查找标准，可以是文件名、大小、文件类型、权限等标准进行；默认为找出指定路径下的所有文件
处理动作：对符合条件的文件做操作，默认输出至屏幕

1.2.1 指定搜索目录层级

-maxdepth level		最大搜索目录深度，指定目录下的文件为第1级
-mindepth level		最小搜索目录深度

范例：

find /etc -maxdepth 2 -mindepth 2

1.2.2 对每个目录先处理目录内的文件，再处理目录本身

-depth 

范例：

find /data/test -depth

1.2.3 根据文件名和inode查找

-name "文件名称"：支持使用glob：如*,?,[],[^],通配符要加双引号引起来
-iname "文件名称"：不区分字母大小写
-iname n	按inode号查找
-samefile name	相同inode号的文件
-links n	链接数为n的文件
-regex "PATTERN"：以PATTERN匹配整个文件路径，而非文件名称

范例：

find -name snow.png 
find -iname snow.png 
find / -name  ".txt" find /var –name "log*"
find -regex ".*\.txt$" 

1.2.4 根据属主、属组查找

-user USERNAME：查找属主为指定用户(UID)的文件 
-group GRPNAME: 查找属组为指定组(GID)的文件 
-uid UserID：查找属主为指定的UID号的文件 
-gid GroupID：查找属组为指定的GID号的文件 
-nouser：查找没有属主的文件 
-nogroup：查找没有属组的文件 	

1.2.5 根据文件类型查找

-type TYPE
TYpe可以是以下类型：
f：普通文件
d：目录文件
l：符号链接文件
b：块设备文件
c：字符设备文件
p：管道文件
s：套接字文件

范例：
find /home -type d -ls

1.2.6 空文件或目录

-empty
范例：

find /app -type d -empty

1.2.7 组合条件

与：-a，默认多个条件是与关系
或：-o
非：-not		!

范例：

find /etc/ -type d -o -type l | wc -l
find /etc/ -type d -o -type -ls |wc -l
find /etc/ \( -type d -o -type l \) -ls | wc -l

德·摩根定律：

• (非 A) 或 (非 B) = 非(A 且 B)
• (非 A) 且 (非 B) = 非(A 或 B)
  示例：
  !A -a !B = !(A -o B)
  !A -o !B = !(A -a B)
  范例：

find  -user joe  -group joe
find -user joe -not -group joe 
find -user joe -o -user jane 
find -not  \(  -user joe -o -user jane  \) 
find / -user joe -o -uid 500
find  ! \( -type d -a  -empty \)| wc -l 
find  ! -type d -o ! -empty  |wc -l 
find  !  -user wang   ! -user mage 
find  ! \( -user wang -o -user mage \) 
find  ! -user wang -a ! -user mage 
find /tmp \( -not -user root -a -not -name 'f*' \) -ls 
find /tmp -not \( -user root -o -name 'f*' \)  –ls

1.2.8 排除目录

范例：

find /etc -path '/etc/sane.d' -a -prune -o -name "*.conf"
find /etc \( -path "/etc/sane.d" -o -path "/etc/fonts" \) -a -prune -o -name "*.conf"
find  \( -path "/sys" -o -path "/proc" \) -a -prune -o -type f -a -mmin -1

1.2.9 根据文件大小来查找

-size [+|-]#UNIT		常用单位：k，M，G，c(byte)，注意大小写敏感
#UNIT	表示(#-1, #)，如：6k 表示(5k,6K]
-#UNIT              #表示[0,#-1],如：-6k 表示[0,5k] 
+#UNIT              #表示(#,∞),如：+6k 表示(6k,∞)

范例：

find / -size +10G

1.2.10 根据时间戳

-atime [+|-]# 
#表示[#,#+1) 
+#  #表示[#+1,∞] 
-#  #表示[0,#)
-mtime 
-ctime

-amin 
-mmin 
-cmin

1.2.11 根据权限查找

-perm [/|-]MODE
MODE: 精确权限匹配 
/MODE：任何一类(u,g,o)对象的权限中只要能一位匹配即可，或关系，+ 从CentOS 7开始淘汰 
-MODE：每一类对象都必须同时拥有指定权限，与关系 0 表示不关注

说明：
find -perm 755 会匹配权限模式恰好是755的文件
只有当任意人有写权限时，find -perm /222就会匹配
只有当每个人都有写权限时，find -perm -222才会匹配
只有当其它人（other）有写权限时，find -perm -002才会匹配

1.2.12 正则表达式

范例：

find /you/find/dir -regextype posix-extended -regex "regex"

1.2.13 处理动作

-print：默认的处理动作，显示至屏幕 
-ls：类似于对查找到的文件执行"ls -dils"命令格式输出 
-fls file：查找到的所有文件的长格式信息保存至指定文件中，相当于 -ls > file -delete：删除查找到的文件，慎用！ 
-ok COMMAND {} \; 对查找到的每个文件执行由COMMAND指定的命令，对于每个文件执行命令之前，都会 交互式要求用户确认 
-exec COMMAND {} \; 对查找到的每个文件执行由COMMAND指定的命令 
{}: 用于引用查找到的文件名称自身

范例：

find  -name  ".conf"  -exec  cp {}  {}.orig  \; 
find /tmp -ctime +3 -user joe -ok rm {} \; 
find ~ -perm -002  -exec chmod o-w {} \; 
find /data –type  f -perm 644  -name "*.sh" –exec chmod 755 {} \;

1.3 参数替换xargs

由于很多命令不支持管道|来传递参数，xargs用于产生某个命令的参数，xargs 可以读入 stdin 的数 据，并且以空格符或回车符将 stdin 的数据分隔成为参数

另外，许多命令不能接受过多参数，命令执行可能会失败，xargs 可以解决

注意：文件名或者是其他意义的名词内含有空格符的情况

find 经常和 xargs 命令进行组合,形式如下：

find | xargs COMMAND

范例：

seq 10 | xargs 
ls  | xargs   rm 
find  -name "*.sh" | xargs ls -Sl
echo {1..10} |xargs 
echo {1..10} |xargs -n1 
echo {1..10} |xargs -n2 
echo user{1..10} |xargs -n1 useradd 
echo user{1..10}|xargs -n1 userdel -r
find /bin/ -perm /7000 | xargs ls -Sl 
find /bin/ -perm -7000 | xargs ls -Sl  
find -type f -name "*.txt” -print0 | xargs -0 rm 
seq 100 |xargs -i -P10 wget -P /data    http://10.0.0.8/{}.html
seq 10 | xargs -i -P3 you-get https://www.bilibili.com/video/BV1HZ4y1p7Bf?p={}

2. 压缩和解压缩

主要针对单个文件压缩，而非目录

2.1 compress和uncompress

此工具来自于ncompress包,此工具目前已经很少使用
对应的文件是 .Z 后缀
格式：

compress Options [file ...] 
uncompress file.Z

常用选项：

-d 解压缩，相当于uncompress
-c 结果输出至标准输出，不删除原文件
-v 显示详情

zcat file.Z 不显示解压缩的前提下查看文本文件内容
范例：

zcat file.Z > file

2.2 gzip和gunzip

来自于gzip包
对应的文件是.gz后缀
格式：

gzip [OPTION] ... FILE ...

常用选项：

 -k  keep, 保留原文件,CentOS 8 新特性 
 -d  解压缩，相当于gunzip 
 -c  结果输出至标准输出，保留原文件不改变 
 -#  指定压缩比，#取值为1-9，值越大压缩比越大

范例：

gunzip file.gz
zcat file.gz
gzip -c messages > messages.gz
gzip -c -d messages.gz > messages
zcat messages.gz > messages
cat messages | gzip > m.gz

2.3 bzip2和bunzip2

来自于bzip2包
对应的文件是.bzip2后缀
格式：

bzip2 [OPTION]... FILE ...

常用选项：

-k  keep, 保留原文件 
-d  解压缩 -c  结果输出至标准输出，保留原文件不改变 
-#  1-9，压缩比，默认为9

范例：

bunzip2 file.bz2
bzcat file.bz2

2.4 xz和unxz

来自于xz包
对应的文件是.xz后缀
格式：

xz [OPTION]... FILE ...

常用选项：

 -k  keep, 保留原文件 
 -d  解压缩 
 -c  结果输出至标准输出，保留原文件不改变 
 -#  压缩比，取值1-9，默认为6

范例：

unxz file.xz
xzcat file.xz

2.5 zip和unzip

zip 可以实现打包目录和多个文件成一个文件并压缩，但可能会丢失文件属性信息，如：所有者和组信 息，一般建议使用 tar 代替
分别来自于 zip 和 unzip 包
对应的文件是 .zip 后缀
范例：

zip -r /backup/sysconfig.zip /etc/sysconfig/
cd /etc/sysconfig; zip -r /root/sysconfig.zip *  #不打包目录本身，只打包目录内的文件和子目录
unzip /backup/sysconfig.zip -d /tmp/config
cat /var/log/messages | zip messages -
unzip -p messages.zip > message

范例：交互式加密和解密：

zip -e magedu.zip *
mv magedu.zip /root
cd
unzip magedu.zip

范例：非交互式加密和解密

zip -P 123456 magedu.zip *
mv magedu.zip /mnt
cd /mnt
unzip -P 123456 magedu.zip

3.打包和解包

3.1 tar

tar可以对目录和多个文件打包一个文件，并且可以压缩，保留文件属性不丢失，常用于备份功能，推荐使用
对应的文件名后缀是.tar后缀
格式：

tar [-ABcdgGhiklmMoOpPrRsStuUvwWxzZ][-b <区块数目>][-C <目的目录>][-f <备份文件>][-F <Script文件>][-K <文件>][-L <媒体容量>][-N <日期时间>][-T <范本文件>][-V <卷册名称>][-X <范本文件>][-<设备编号><存储密度>][--after-date=<日期时间>][--atime-preserve][-backuup=<备份方式>][--checkpoint][--concatenate][--confirmation][--delete][-exclude=<范本样式>][--force-local][--group=<群组名称>][--help][--ignore-failedread][--new-volume-script=<Script文件>][--newer-mtime][--no-recursion][--null][-numeric-owner][--owner=<用户名称>][--posix][--erve][--preserve-order][--preservepermissions][--record-size=<区块数目>][--recursive-unlink][--remove-files][--rshcommand=<执行指令>][--same-owner][--suffix=<备份字尾字符串>][--totals][--usecompress-program=<执行指令>][--version][--volno-file=<编号文件>][文件或目录...]

选项：

-A或--catenate 新增文件到已存在的备份文件。 
-b<区块数目>或--blocking-factor=<区块数目> 设置每笔记录的区块数目，每个区块大小为12Bytes。 
-B或--read-full-records 读取数据时重设区块大小。
-c或--create 建立新的备份文件。 
-C<目的目录>或--directory=<目的目录> 切换到指定的目录。 
-d或--diff或--compare 对比备份文件内和文件系统上的文件的差异。 
-f<备份文件>或--file=<备份文件> 指定备份文件。 
-F<Script文件>或--info-script=<Script文件> 每次更换磁带时，就执行指定的Script文件。 
-g或--listed-incremental 处理GNU格式的大量备份。 
-G或--incremental 处理旧的GNU格式的大量备份。 
-h或--dereference 不建立符号连接，直接复制该连接所指向的原始文件。 
-i或--ignore-zeros 忽略备份文件中的0 Byte区块，也就是EOF。 
-k或--keep-old-files 解开备份文件时，不覆盖已有的文件。 
-K<文件>或--starting-file=<文件> 从指定的文件开始还原。 
-l或--one-file-system 复制的文件或目录存放的文件系统，必须与tar指令执行时所处的文件系统相 同，否则不予复制。 
-L<媒体容量>或-tape-length=<媒体容量> 设置存放每体的容量，单位以1024 Bytes计算。 
-m或--modification-time 还原文件时，不变更文件的更改时间。 
-M或--multi-volume 在建立，还原备份文件或列出其中的内容时，采用多卷册模式。 
-N<日期格式>或--newer=<日期时间> 只将较指定日期更新的文件保存到备份文件里。 
-o或--old-archive或--portability 将资料写入备份文件时使用V7格式。 
-O或--stdout 把从备份文件里还原的文件输出到标准输出设备。 
-p或--same-permissions 用原来的文件权限还原文件。 
-P或--absolute-names 文件名使用绝对名称，不移除文件名称前的"/"号。 
-r或--append 新增文件到已存在的备份文件的结尾部分。 
-R或--block-number 列出每个信息在备份文件中的区块编号。 
-s或--same-order 还原文件的顺序和备份文件内的存放顺序相同。 
-S或--sparse 倘若一个文件内含大量的连续0字节，则将此文件存成稀疏文件。 
-t或--list 列出备份文件的内容。 
-T<范本文件>或--files-from=<范本文件> 指定范本文件，其内含有一个或多个范本样式，让tar解开或 建立符合设置条件的文件。 
-u或--update 仅置换较备份文件内的文件更新的文件。 
-U或--unlink-first 解开压缩文件还原文件之前，先解除文件的连接。 
-v或--verbose 显示指令执行过程。 
-V<卷册名称>或--label=<卷册名称> 建立使用指定的卷册名称的备份文件。 
-w或--interactive 遭遇问题时先询问用户。 
-W或--verify 写入备份文件后，确认文件正确无误。 
-x或--extract或--get 从备份文件中还原文件。 
-X<范本文件>或--exclude-from=<范本文件> 指定范本文件，其内含有一个或多个范本样式，让ar排除 符合设置条件的文件。
-z或--gzip或--ungzip 通过gzip指令处理备份文件。 
-Z或--compress或--uncompress 通过compress指令处理备份文件。 
-<设备编号><存储密度> 设置备份用的外围设备编号及存放数据的密度。 
--after-date=<日期时间> 此参数的效果和指定"-N"参数相同。 
--atime-preserve 不变更文件的存取时间。 
--backup=<备份方式>或--backup 移除文件前先进行备份。 
--checkpoint 读取备份文件时列出目录名称。 
--concatenate 此参数的效果和指定"-A"参数相同。 
--confirmation 此参数的效果和指定"-w"参数相同。 
--delete 从备份文件中删除指定的文件。 
--exclude=<范本样式> 排除符合范本样式的文件。 
--group=<群组名称> 把加入设备文件中的文件的所属群组设成指定的群组。 
--help 在线帮助。 
--ignore-failed-read 忽略数据读取错误，不中断程序的执行。 
--new-volume-script=<Script文件> 此参数的效果和指定"-F"参数相同。 
--newer-mtime 只保存更改过的文件。 
--no-recursion 不做递归处理，也就是指定目录下的所有文件及子目录不予处理。 
--null 从null设备读取文件名称。 
--numeric-owner 以用户识别码及群组识别码取代用户名称和群组名称。 
--owner=<用户名称> 把加入备份文件中的文件的拥有者设成指定的用户。 
--posix 将数据写入备份文件时使用POSIX格式。 
--preserve 此参数的效果和指定"-ps"参数相同。 
--preserve-order 此参数的效果和指定"-A"参数相同。 
--preserve-permissions 此参数的效果和指定"-p"参数相同。 
--record-size=<区块数目> 此参数的效果和指定"-b"参数相同。 
--recursive-unlink 解开压缩文件还原目录之前，先解除整个目录下所有文件的连接。 
--remove-files 文件加入备份文件后，就将其删除。 
--rsh-command=<执行指令> 设置要在远端主机上执行的指令，以取代rsh指令。 
--same-owner 尝试以相同的文件拥有者还原文件。 
--suffix=<备份字尾字符串> 移除文件前先行备份。 
--totals 备份文件建立后，列出文件大小。 
--use-compress-program=<执行指令> 通过指定的指令处理备份文件。 
--version 显示版本信息。 
--volno-file=<编号文件> 使用指定文件内的编号取代预设的卷册编号。

(1) 创建归档，保留权限

tar cvf /PATH/FILE.tar FILE...

(2)追加文件至归档：注：不支持对压缩文件追加

tar -rf /PATH/FILE.tar FILE...

(3)查看归档文件中的文件列表

tar -t -f /PATH/FILE.tar

(4)展开归档

tar xf /PATH/FILE.tar
tar xf /PATH/FILE.tar -C /PATH/

(5)结合压缩工具实现：归档并压缩

-z 相当于gzip压缩工具
-j 相当于bzip2压缩工具
-J 相当于xz压缩工具

范例：

tar zcvf etc.tar.gz /etc/
tar jcvf etc.tar.bz2 /etc/
tar Jcvf etc.tar,xz /etc/

cd /etc
tar zcvf /root/etc.tar.gz ./	#只打包目录内的文件，不包括目录本身
tar c /data/ | tar x -C /backup		#利用tar进行文件复制

 --exclude 排除文件

范例：

tar zcvf /root/a.tar.gz --exclude=/app/host1 --exclude=/app/host2 /app

-T 选项指定输入文件
-X 选项指定包含要排除的文件列表

范例：

tar zcvf mybackup.tgz -T /root/includefilelist -X /root/excludefilelist

3.2 split

split命令可以分割一个文件为多个文件
范例：

split -b size -d tar-file-name prefix-name 	#分割大的tar文件为多份小文件
split -b 1M mybackup.tgz mybackup-parts
split -b 1M -d mybackup.tgz mybackup-parts	#切换成多个小文件使用数字后缀

将多个切割的小文件合并成一个大文件：

cat mybackup-parts* > mybackup.tar.gz

3.3 cpio

cpio 命令是通过重定向的方式将文件进行打包备份，还原恢复的工具，它可以解压以“.cpio”或者“.tar” 结尾的文件
格式：

cpio [选项] > 文件名或者设备名 
cpio [选项] < 文件名或者设备名 

常用选项：

-o      output模式，打包，将标准输入传入的文件名打包后发送到标准输出 
-i      input模式，解包，对标准输入传入的打包文件名解包到当前目录 
-t      预览，查看标准输入传入的打包文件中包含的文件列表 
-O filename 输出到指定的归档文件名 
-A      向已存在的归档文件中追加文件 
-I filename 对指定的归档文件名解压 
-F filename 使用指定的文件名替代标准输入或输出 
-d      解包生成目录，在cpio还原时，自动的建立目录 
-v      显示打包过程中的文件名称

范例：

find ./etc -print | cpio -ov > bak.cpio 		#备份etc目录
find /data | cpio -oA -F  bak.cpio 	#将/data内容追加bak.cpio
cpio –tv < etc.cpio 	#内容预览
cpio –idv < etc.cpio 	#解包文件