SHELL笔记之归档（五）

1.tar命令
1.1归档
tar可以将多个文件和文件夹保存为单个文件，同时还能保留所有的文件属性，如所有者，权限等。

eg： tar -cf output.tar client.c md5.txt        //对文件client.c 和md5.txt 归档为output.tar文件  （-c代表创建文件；-f代表制定文件，而且-f应该是选项中的最后一个。）

eg： tar -tf  output.tar     //列出归档文件中包含的文件

eg： tar -tvf output.tar    //加上参数-v显示更详细的信息 （-v代表冗长模式） 

eg： tar  -rvf  output.tar   new_file    //向归档文件中添加新的文件new_file   (-r代表追加新文件到已存在的归档文档中）

eg： tar -xf   output.tar   -C /home/mapgoo     //将归档文件中的文件提取到/home/mapgoo目录中 （-x代表提取（exact）。-C代表提取到的目录，没有指定代表当前目录.）

eg： tar -xvf  output.tar   client.c     //只提取文件client.c

eg： tar -Af output.tar  output1.tar     //拼接两个归档文件，将output1.tar中的文件也打包进output.tar

eg: tar -uf  output.tar client.c    //仅当client.c的时间戳比归档文件中的新时才追加进去

eg：tar -f output1.tar --delete md5.txt     从归档文件中删除md5.txt文件

eg： tar -cf  arch.tar  *  --exclude "*.txt"    //排除所有的txt文件，进行归档。（用--exclude[PATTERN]  排除匹配通配符样式的文件）

eg： tar -cf  arch.tar  * -X list     //排除list文件中列出的文件，进行归档。

eg： tar -cvf output.tar *sh --totals    //打印出归档了多少字节（用--totals可以在归档完成之后打印出总归档字节数）

1.2压缩
eg： tar -acvf archive.tar.gz *sh    //tar能够通过查看输出或输入文件的扩展名来进行压缩。为了使tar支持扩展名自动进行压缩，使用-a或--auto-compress选项）


2. cpio命令归档
cpio命令类似于tar的归档格式，它用来将多个文件和文件夹存储为单个文件，同时保留所有文件属性，如权限，文件所有权等，不过cpio并不像tar那么常用。它多用于RPM软件包（Fedora使用这种格式),linux内核的initramfs文件等。
eg： echo file1 file2 file3  | cpio -ov >archive.cpio    //归档
eg：  cpio -it < archive.cpio     //列出cpio归档文件中的内容
eg：  cpio -id  < archive.cpio     //从cpio归档中提取文件

-o制定输出； -v用来打印归档文件列表；-i用来指定输入；-t表示列出归档文件中的内容；-d用来提取。

3. gzip命令 压缩
   3.1 压缩
gzip只能压缩单个文件或数据流，而无法对目录和多个文件进行归档。因此需要先创建tar归档文件，然后再用gzip进行压缩。
eg： gzip  filename    //压缩 ，生成filename.gz压缩文件
eg： gunzip  filename.gz    //解压缩
eg：  gzip -l  filename.gz     //列出压缩文件的属性

3.2压缩归档
第一种方法：  tar -acvf archive.tar.gz   *sh     

第二种方法： 
           第一步：归档   tar -cvf archive.tar    *sh
            第二步：压缩  gzip archive.tar
 
3.3压缩率
1级的压缩率最低，但是压缩速度最快；  9级的压缩率最高，但是压缩速度最慢
eg： gzip -5  test.img       //5级应该能在压缩速度和压缩比之间获得一个不错的平衡


4.bzip2命令 压缩
bzip2命令是另一种常用的工具，其功能和语法同gzip非常的类似。唯一的不同在于bzip2的压缩效率比gzip更高，但花费的时间比gzip更长

eg： bzip2 read.c    //压缩read.c文件，生成read.c.bz2文件
eg：bunzip2    read.c.bz2     //解压缩
 
4.2归档，压缩
eg： tar -acvf archive.tar.bz2 *sh     //归档压缩 （对比 tar -acvf archive.tar.gz  *sh   ）
eg:   tar -xjvf  archive.tar.gz2     //解压缩  （对比 tar -xavf archive.tar.gz ）   （-j表明该归档文件是bzip2格式）


5.zip命令    归档和压缩
eg：  zip archive.zip   [SOURCE FILES / DIRS ]    //zip格式进行归档压缩
eg：  unzip   archive.zip    //提取zip文件中的内容 （zip提取完后并不会删除文件，这点与unlzma和gunzip不同）
eg：  zip file.zip -u  newfile   //更新压缩文件中的内容。（-u选项）
eg：   zip -d  file.zip    file.txt     //从压缩文件中删除内容（-d选项）
eg：   zip -l   file.zip    、、列出压缩文件中的内容



6.pbzip2命令    更快速的归档工具
我们目前已经看到的多数压缩命令只能利用单个处理器核心，所以速度并不会特别快，而pbzip2能够借助多个处理器核心来降低压缩文件所需要的时间。
6.1压缩单个文件
pbzip2  myfile.tar      //pbzip2会自动检测系统中处理器核心的数量，然后将myfile.tar压缩成myfile.tar.bz2 。

6.2要将多个文件或目录进行归档及压缩，可以使用tar配合pbzip2来实现
   tar -cf myfile.tar.bz2  --use-compress-prog=pbzip2  dir_to_compress/
   或者
  tar -c   dir_to_compress/  |  pbzip2 -c >myfile.tar.bz2

6.3从pbzip2格式的文件中进行提取
pbzip2 -dc myfile.tar.bz2  | tar x        //如果是tar.bz2文件，我们可以一次性完成解压缩和提取工作
pbzip2 -d  myfile.tar.bz2        //如果是经过pbzip2压缩过的归档文件

6.4手动制定处理器数量
  pbzip2 -p4 myfile.tar    //使用4个处理器核心


7.创建压缩文件系统
squashfs是一种具有超高压缩率的只读文件系统。如果需要采用超高的文件压缩率，又希望在无需解压的情况下读取少量文件，那么squashfs就能够大显身手了，解压体积较大的压缩文件可得花上一阵功夫。但如果将文件以环回形式挂载，那么速度会变的飞快，因为只有出现访问请求时，对应的那部分压缩文件才会被解压缩。
7.1创建squashfs文件
     mksquashfs     SOURCES    compressedfs.squashfs        //SOURCES部分可以是通配符或文件，目录路径（eg：  mksquashffs  /etc    test.squashfs  )
7.2 利用环回形式挂载squashfs文件
      mount  -o loop compressedfs.squashfs   /mnt/squash       //将文件挂载在/mnt/squash目录

7.3补充：在创建squashfs文件时排除部分文件
eg：  mksquashfs  /etc    test.squashfs   -e  /etc/passwd  /etc/shadow         
eg:     mksquashfs /etc/   test.squashfs -ef   excludelist           //文件excludelist列出了要排除的文件


8.使用rsync备份
 rsync可以对位于不同位置的文件和目录进行同步，它利用差异计算以及压缩技术来最小化数据传输量。相对于cp命令，rsync的优势在于使用了高效的差异算法。另外还支持网络数据传输。在进行复制的同时，rsync会比较源端和目的端的文件，只有当文件有更新时才进行复制。rsync也支持压缩加密等多种特性。


8.1将源目录复制到目的端
    rsync   -av  source_path    destination_path    //(-a表示要进行归档； -v表示在stdout上打印细节信息或进度）
 eg：  rsync -av  ./shell/   mapgoo@192.168.1.142:/home/mapgoo    //远程复制

8.2压缩数据传输
    rsync   -avz  source_path    destination_path      //-z选项指定在网络传输时压缩数据

8.3对比两条命令的区别
    rsync -av   /home/test   /home/backups       (test文件夹会复制过去）
    rsync -av   /home/test/   /home/backups      （不会复制test文件夹，只会复制里面的内容）

8.4排除部分文件
eg：    rsync -avz  /home/code   /mnt/disk/backup/code   --exclude "*.txt"     //不对.txt文件进行备份  （或利用 --exclude-from FILEPATH  排除文件夹）

8.5 在更新rsync备份时，删除源端不存在的文件
    rsync  -avz   SOURCE DESTINATION  --delete        //加上--delete选项后，如果DESTINATION中存在，SOURCE不存在，那么会被删除。