1.压缩文件的用途与技术
- 你是否有过文件太大,导致无法以正常的E-mail方式发送?
- 又或学校、厂商要求使用CD或DVD来做数据归档之用,但是你的单一文件却都比这些传统的一次性存储媒介还要大,那怎么分成多块来刻录?
- 还有,你是否有过要备份某些重要数据,偏偏这些数据量太大,使用了你很多的磁盘空间?
这个时候,这个好用的文件压缩技术可就派的上用场了。
这些比较大型的文件通过所谓的文件压缩技术之后,可以将它的磁盘使用量降低,从而达到降低文件容量的效果。此外,有的压缩程序还可以进行容量限制,使一个大型文件可以划分成为数个小型文件,以方便携带。
那么什么是文件压缩呢?
我们来稍微谈一谈它的原理,目前我们使用的计算机系统中都是使用所谓的字节单位来计量。不过,事实上,计算机最小的计量单位应该是bit才对,此外,我们也知道1Byte=8bit,但是如果今天我们只是记忆一个数字,即1这个数字?它会如何记录?
假设一个字节可以看成八个空格,由于1B=8bit,所以每个字节当中会有8个空格,而每个空格可以是0、1,由于我们记录数字是1,考虑计算机所谓的二进制,如此一来,1会在最右边占据1个位,而其他的7个位将会自动地被填上0。
你看看,其实在这样的例子中,那7个位应该是空的才对。不过,为了要满足目前我们的操作系统数据的读写,所以就会将该数据转为字节的形式来记录。
而一些聪明的计算机工程师就利用一些复杂的计算方式,将这些没有使用到的空间【丢】出来,以让文件占用的空间变小,这就是压缩的技术。
另外一种压缩技术也很有趣,它是将重复的数据进行统计记录。举例来说,如果你的数据为【111……】共有100个1时,那么压缩技术会记录为【100个1】而不是真的有100个1的位存在。这样也能够精简文件记录的容量,非常有趣吧!
简单地说,你可以将它想成,其实文件里面有相当多的空间存在,并不是完全填满的,而压缩的技术就是将这些空间填满,以让整个文件占用的容量下降。
不过,这些压缩过的文件并无法直接被我们的操作系统所使用,因此,若要使用这些被压缩过的文件数据,则必须将它还原回来未压缩前的模样,那就是所谓的解压缩。
而至于压缩后与压缩的文件所占用的磁盘空间大小,就可以被称为是压缩比,
这个压缩与解压缩的操作有什么好处呢?
最大的好处就是压缩过的文件容量变小了,所以你的硬盘容量无形之中就可以容纳更多的数据。
此外,在一些网络数据的传输中,也会由于数据量的降低,好让网络带宽可以用来做更多的工作,而不是老卡在一些大型的文件传输上面,目前很多的WWW网站也是利用文件压缩的技术来进行数据的传送,好让网站带宽的利用率上升。
上述的WWW网站压缩技术蛮有趣的,它让你网站上面看得到的数据在经过网络传输时,使用的是压缩过的数据,等到这些压缩过的数据到达你的计算机主机时,再进行解压缩,由于目前的计算机命令周期相当快速,因此其实在网页浏览的时候,时间都是花在数据的传输上面,而不是CPU的运算,如此一来,由于压缩过的数据量降低了,自然传输的速度就会变快不少。
若你是一位软件工程师,那么相信你也会喜欢将你自己的软件压缩之后提供大家下载来使用,毕竟没有人喜欢自己的网站天天都是带宽满载的吧?
举个例子来说,Linux 3.10.81(CentOS7用的扩展版本)完整的内核大小约有570MB左右,而由于内核主要多是 ASCII的纯文本文件,这种文件的多余空间最多,而一个提供下载的压缩的3.10.81内核大约仅有76MB左右,差了多少?你可以自己算一算。
2. Linux 系统常见的压缩命令
在Linux的环境中,压缩文件的扩展名大多是:“.tar、*tar.gz、*tgz、“.gz、“Z、“.b22、“xz。
为什么会有这样的扩展名?不是说Linux的扩展名没有什么作用吗?
这是因为Linux支持的压缩命令非常多,且不同的命令所用的压缩技术并不相同,当然彼此之间可能就无法互通压缩/解压缩文件。
所以,当你下载到某个压缩文件时,自然就需要知道该文件是由哪种压缩命令所制作出来的,好用来对照着解压缩,也就是说,虽然 Linux文件的属性基本上是与文件名没有绝对关系的,但是为了帮助我们人类小小的脑袋,所以适当的扩展名还是必要的
下面我们就列出几个常见的压缩文件扩展名:
- .Z:compress 程序压缩的文件
- .zip:zip程序压缩的文件
- .gz:gzip程序压缩的文件
- .bz2:bzip2程序压缩的文件
- .xz:xz程序压缩的文件
- .tar:tar 程序打包的文件,并没有压缩过;
- .tar.gz:tar程序打包的文件,并且经过gzip的压缩
- .tar.bz2:tar 程序打包的文件,并且经过bzip2的压缩
- .tar.xz:tar程序打包的文件,并且经过xz的压缩;
Linux上常见的压缩命令就是gzip、bzip2以及最新的xz,至于compress已经不流行了。
为了支持Windows常见的zip,其实Linux也早就有zip命令了。
gzip是由GNU计划所开发出来的压缩命令,该命令已经替换了compress。
后来GNU又开发出bzip2及xz这几个压缩比更好的压缩命令。
不过,这些命令通常仅能针对一个文件来压缩与解压缩,如此一来,每次压缩与解压缩都要一大堆文件,岂不烦人?此时,这个所谓的【打包软件,tar】就显得很重要。
这个tar可以将很多文件打包成为一个文件,甚至是目录也可以这么玩。不过,单纯的tar功能仅是打包而已,即将很多文件结合为一个文件,事实上,它并没有提供压缩的功能,后来,GNU计划中,将整个tar与压缩的功能结合在一起,如此一来提供用户更方便并且更强大的压缩与打包功能,下面我们就来谈一谈这些在Linux下面基本的压缩命令。
2.1 gzip, zcat/zmore/zless/zgrep
gzip可以说是应用最广的压缩命令了,目前gzip可以解开compress、zip与gzip等软件所压缩的文件,至于gzip所建立的压缩文件为.gz,
让我们来看看这个命令的语法;
[dmtsai@study~JS gzip [-cdtv#]文件名
[dmtsai@study-]S zcat 文件名.gz
选项与参数:
- -c:将压缩的数据输出到屏幕上,可通过数据流重定向来处理;
- -d:解压缩的参数;
- -t:可以用来检验一个压缩文件的一致性,看看文件有无错误;
- -v:可以显示出原文件/压缩文件的压缩比等信息;
- -#:#为数字的意思,代表压缩等级,-1最快,但是压缩比最差,-9最慢,但是压缩比最好,默认是-6;
范例一:找出/etc 下面(不含子目录)容量最大的文件,并将它复制到/tmp,然后以gzip压缩。
当你使用gzip进行压缩时,在默认的状态下原本的文件会被压缩成为.gz后缀的文件,源文件就不再存在了,这点与一般习惯使用Windows做压缩的朋友所熟悉的情况不同,要注意。
此外,使用gzip压缩的文件在Windows系统中,竟然可以被WinRAR或7zip这些软件解压缩,很好用,其他的用法如下:
范例二:由于services是文本文件,请将范例一的压缩文件的内容读出来。
由于services 这个原本的文件是是文本文件,因此我们可以尝试使用zcat/zmore/zless去读取。
此时屏幕上会显示servcies.gz解压缩之后的原始文件内容。
范例三:将范例一的文件解压缩。
不要使用gunzip这个命令,不好背,使用gzip-d来进行解压缩.
与gzip相反,gzip-d会将原本的.gz删除,恢复到原本的services文件。范例四:将范例三解开的services用最佳的压缩比压缩,并保留原本的文件。
范例五:由范例四再次建立的services.gz中,找出http这个关键词在哪几行?
其实gzip的压缩已经优化过了,所以虽然gzip提供1~9的压缩等级,不过使用默认的6就非常好用了。因此上述的范例四可以不要加入那个-9的选项。
范例四的重点在那个-c与>的使用,-c可以将原本要转成压缩文件的数据内容,将它变成文字类型从屏幕输出,然后我们可以通过大于(>)这个符号,将原本应该由屏幕输出的数据,转成输出到文件而不是屏幕,所以就能够建立出压缩文件了。只是文件名也要自己写,当然最好还是遵循gzip的压缩文件名要求较佳。
cat/more/less可以使用不同的方式来读取纯文本文件,那个 zcat/zmore/zless则可以对应于cat/more/less 的方式来读取纯文本文件被压缩后的压缩文件,
由于gzip这个压缩命令主要想要用来替换compress,所以不但compress的压缩文件可以使用gzip来解开,同时zcat这个命令可以同时读取compress与gzip的压缩文件。
另外,如果你还想要从文字压缩文件当中找数据的话,可以通过egrep来查找关键词,而不需要将压缩文件解开才以grep进行,这对查询备份中的文本文件数据相当有用。
时至今日,应该也没有人使用compress这个老的命令。而如果你还有备份数据使用的是compress创建出来的,Z文件,那也无须担心,使用znew 可以将该文件转成 gzip的格式.
2.2 bzip2,bzcat/bzmore/bzless/bzgrep
若说gzip 是为了替换compress并提供更好的压缩比而成立的,那么bzip2则是为了替换gzip并提供更佳的压缩比而来。
bzip2真是很不错的东西,这玩意的压缩比竟然比gzip 还要好,至于bzip2的用法几乎与gzip 相同,看看下面的用法吧!
[dmtsai@study ~]$ bzip2 [-cdkzv#]文件名
[dmtsai@study ~]$ bzcat 文件名.bz2
选项与参数:
- -c:将压缩的过程产生的数据输出到屏幕上;-d:解压缩的参数;
- -d:保留原始文件,而不会删除原始的文件;
- -k:压缩的参数(默认值,可以不加);
- -v:可以显示出源文件/压缩文件的压缩比等信息:
- -#:与gzip 同样的,都是计算压缩比的参数,-9最佳,-1 最快:
例一、将刚刚gzip 范例留下来的/tmp/services以bzip2压缩。
此时services 会变成 services.bz2之外,你也可以发现bzip2的压缩比要软gzip好。
压缩率由gzip的79%提升到bzip2的81%。
同样,它会把源文件删除!!!!
范例二:将范例一的文件内容读出来。
范例三:将范例一的文件解压缩。
范例四:将范例三解开的services用最佳的压缩比压缩,并保留原本的文件。
看上面的范例,你会发现到bzip2连选项与参数都跟gzip一模一样,只是扩展名由.gz变成.bz2而已。其他的用法都大同小异,所以就不一一介绍了
你也可以发现到bzip2的压缩率确实比gzip要好些,不过,对于大容量文件来说,bzip2压缩时间会花比较久,至少比gzip要久的多,这没办法,要有更多可用容量,就要花费相对应的时间。
2.3 xz, xzcat/xzmore/xzless/xzgrep
虽然bzip2已经具有很棒的压缩比,不过显然某些自由软件开发者还不满足,因此后来还推出了xz这个压缩比更高的软件。
这个软件的用法也跟gzip/bzip2几乎一模一样,那我们就来看一看。
xz [-dtlkc#] 文件名
xcat 文件名.xz
选项与参数:
- -d:就是解压缩;
- -t:测试压缩文件的完整性,看有没有错误;
- -l:列出压缩文件的相关信息;
- -k:保留原本的文件不删除;
- -c:同样的,就是将数据在屏幕上输出的意思;
- -#:同样的,也有较佳的压缩比的意思;
范例一:将刚刚由bzip2所遗留下来的/tmp/services通过x2来压缩。
#各位观众,看到没有,容量又进一步下降的更多,好棒的压缩比。
范例二:列出这个压缩文件的信息,然后读出这个压缩文件的内容。
竟然可以列出这个文件的压缩前后的容量,真是太人性化了,这样观察就方便多了
同样的我们可以使用xzcat来预览压缩包里的东西
范例三:将它解压缩吧!
范例四:保留原文件的文件名,并且建立压缩文件。
xz 这个压缩比真的好太多太多了,鸟哥选择的这个services文件为范例,它可以将gzip压缩比(压缩后/压缩前)的21%更进一步优化到15%,差非常非常多。
不过,xz最大的问题是时间花太久了。
如果你曾经使用过xz的话,应该会发现,它的运算时间真的比gzip久很多。
通过【time [gziplbzip2lxz]-cservices>services.[gzlbz2|xz]】去执行运算,结果发现这三个命令的运行时间依序是:0.019s、0.042s、0.261s。
看最后一个数字,差了10倍的时间。
所以,如果你并不觉得时间是你的成本考虑,那么使用xz会比较好。如果时间是你的重要成本那么gzip恐怕是比较适合的压缩软件。