文件空洞引发的思考:空洞与cp

上次课上学了lseek这个函数,可以制造出“空洞”文件。演示中,我们发现,用vi或者od命令查看带空洞的文件,空洞部分填满了字符0。于是产生了:

问题一:空洞文件和用字符0写同样长度的文件一样吗?

我们来写一个2000000’/0’的文件write0.file,再创建一个有长2000000的空洞的文件hole.file。具体方法就不用赘述了(前面直接写,后面lseek)。然后用ls –ls命令查看(当然也可以用du,不过比较麻烦),发现write0.file的大小为1960k,而hole.file只有8k。所以:

问题一的答案是:不一样。虽然我们用vi或者od读取这两个文件,内容都是显示的一样的,但是这两个文件是有本质的区别的。

 

问题二:用我们自己写的文件mycp(或者cat),拷贝出两个文件,是什么效果?

./mycp<write0.file>mycp.write0.file./mycp<hole.file>mycp.hole.file。再ls –ls一下发现:拷贝出来的两个文件都是1960k!看来我们的拷贝并没有真正复制到文件全部的信息。

问题二的答案是:结果是一样的。有空洞的文件拷贝完成后,所占磁盘空间变大了。我们写的那个拷贝有bug,所以:

 

问题三:用shell里面的cp拷贝的结果一样吗?

cp write0.file cp.write0.filecp hole.file cp.hole.file 。再ls –ls一下发现:拷贝出来的两个文件和源文件所占磁盘空间是一样的!应该说,shell里面的那个cp比咱们的要牛一些,它不会丢失文件的信息。man一下cp发现一个参- -sparse,这个参数专门用来处理文件空洞,它的值有三:auto(默认的,原来有洞,拷贝出来就有洞。原来没洞,拷贝出来也没洞);always(有没有洞都填满0),never(有没有洞都不填)。

答案三:cpmycp功能强大。于是:

 

问题四:cp是怎么实现的?

这种问题有个万能解决办法——看源码。

[code=cpp]#if HAVE_STRUCT_STAT_ST_BLOCKS

  if (x->sparse_mode == SPARSE_AUTO && S_ISREG (sb.st_mode))

    {

      /* Use a heuristic to determine whether SRC_PATH contains any

          sparse blocks. */

 

      if (fstat (source_desc, &sb))

         {

           error (0, errno, _("cannot fstat %s"), quote (src_path));

           return_val = -1;

           goto close_src_and_dst_desc;

         }

 

      /* If the file has fewer blocks than would normally

          be needed for a file of its size, then

          at least one of the blocks in the file is a hole. */

      if (S_ISREG (sb.st_mode)

           && sb.st_size / ST_NBLOCKSIZE > ST_NBLOCKS (sb))

         make_holes = 1;

    }[/code]

关键在最后一个if判断,通过注释可以看出,它通过比较sb.st_size/ ST_NBLOCKSIZEsb是被拷文件的stat,表示inode里面存放的文件的长度)和ST_NBLOCKS (sb)(表示所占的实际磁盘大小)。来判断有没有空洞,进行处理。如果有空洞,就跳,如果没有空洞,就写0。具体实现在这里:

   [code=cpp]   if (make_holes)

         {

           buf[n_read] = 1;   /* Sentinel to stop loop.  */

 

           /* Find first nonzero *word*, or the word with the sentinel.  */

 

           ip = (int *) buf;

           while (*ip++ == 0)

             ;

 

           /* Find the first nonzero *byte*, or the sentinel.  */

 

           cp = (char *) (ip - 1);

           while (*cp++ == 0)

             ;

 

           /* If we found the sentinel, the whole input block was zero,

              and we can make a hole.  */

 

           if (cp > buf + n_read)

             {

               /* Make a hole.  */

               if (lseek (dest_desc, (off_t) n_read, SEEK_CUR) < 0L)

                   {

                     error (0, errno, _("cannot lseek %s"), quote (dst_path));

                     return_val = -1;

                     goto close_src_and_dst_desc;

                   }

               last_write_made_hole = 1;

             }

           else

             /* Clear to indicate that a normal write is needed. */

             ip = 0;

         }[/code]

问题四答案:嗯!确实比咱们的mycp考虑的周全,但是有没有别的问题呢?

 

问题五:如果一个文件里面既有空洞,又有人故意写了许多0字符。那么cp还能正确拷贝出源文件的大小吗?

先想一想,如果要我做,我该怎么实现,想来想去发现这个问题好难实现。难处在于就算通过判断文件大小分析出确实存在空洞,但是要找到哪里有空洞,还是需要一个一个读。但是是空洞的地方读出来就是0字符,和专门写的0字符没有办法分辨。看看上面cp的源码,好像也没有考虑这个问题。于是我试验了一下,创建一个文件cp.test,先lseek1000000然后又继续写了10000000字符。先用ls –ls看看结果,发现它的长度为2000000,占用空间为984k。好,分别用sparse的三个参数拷贝出三个文件:cp.auto;cp.always;cp.never。再查看大小,发现cp.autocp.always都是只有8kcp.never1960k。没有一个是源程序的大小984k。看来真的没有办法分别空洞和0字符的位置了。

问题五答案:cp也有拷贝不正确的时候。从这里看出,感觉autoalways参数都是一个意思,设计的有些重复了。

 

得到许多结论:

一、空洞和单纯的0字符并不完全一样,只是空洞被读时会输出0字符。

二、咱们写的那个mycp的程序并不完善,并不能实现cp空洞文件的功能。

三、shellcp工具也不完善,处理空洞文件时也是有bug的。虽然可以判断出文件有没有空洞,但是不能知道哪里是真正的空洞,哪里是“伪装的空洞”。

四、从cp的源码里面学到sb.st_sizeST_NBLOCKS (sb),一般来说,这两个东西所代表的是不一样的。

 

遗留问题:如何正确拷贝出一个既有空洞又有0字符的文件呢?欢迎大家思考回答,有好的想法可以给Torbjorn Granlund, David MacKenzie, and Jim Meyeringcp的作者)写邮件。

评论 3
添加红包

请填写红包祝福语或标题

红包个数最小为10个

红包金额最低5元

当前余额3.43前往充值 >
需支付:10.00
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明:

1.余额是钱包充值的虚拟货币,按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载,可以购买VIP、付费专栏及课程。

余额充值