文件空洞引发的思考：空洞与cp

上次课上学了lseek这个函数，可以制造出“空洞”文件。演示中，我们发现，用vi或者od命令查看带空洞的文件，空洞部分填满了字符0。于是产生了：

问题一：空洞文件和用字符0写同样长度的文件一样吗？

我们来写一个2000000个’/0’的文件write0.file，再创建一个有长2000000的空洞的文件hole.file。具体方法就不用赘述了(前面直接写，后面lseek)。然后用ls –ls命令查看(当然也可以用du，不过比较麻烦)，发现write0.file的大小为1960k，而hole.file只有8k。所以：

问题一的答案是：不一样。虽然我们用vi或者od读取这两个文件，内容都是显示的一样的，但是这两个文件是有本质的区别的。

 

问题二：用我们自己写的文件mycp(或者cat)，拷贝出两个文件，是什么效果？

用./mycp<write0.file>mycp.write0.file和./mycp<hole.file>mycp.hole.file。再ls –ls一下发现：拷贝出来的两个文件都是1960k！看来我们的拷贝并没有真正复制到文件全部的信息。

问题二的答案是：结果是一样的。有空洞的文件拷贝完成后，所占磁盘空间变大了。我们写的那个拷贝有bug，所以：

 

问题三：用shell里面的cp拷贝的结果一样吗？

用cp write0.file cp.write0.file和cp hole.file cp.hole.file 。再ls –ls一下发现：拷贝出来的两个文件和源文件所占磁盘空间是一样的！应该说，shell里面的那个cp比咱们的要牛一些，它不会丢失文件的信息。man一下cp发现一个参- -sparse，这个参数专门用来处理文件空洞，它的值有三：auto（默认的，原来有洞，拷贝出来就有洞。原来没洞，拷贝出来也没洞）；always（有没有洞都填满0），never（有没有洞都不填）。

答案三：cp比mycp功能强大。于是：

 

问题四：cp是怎么实现的？

这种问题有个万能解决办法——看源码。

[code=cpp]#if HAVE_STRUCT_STAT_ST_BLOCKS

  if (x->sparse_mode == SPARSE_AUTO && S_ISREG (sb.st_mode))

    {

      /* Use a heuristic to determine whether SRC_PATH contains any

          sparse blocks. */

 

      if (fstat (source_desc, &sb))

         {

           error (0, errno, _("cannot fstat %s"), quote (src_path));

           return_val = -1;

           goto close_src_and_dst_desc;

         }

 

      /* If the file has fewer blocks than would normally

          be needed for a file of its size, then

          at least one of the blocks in the file is a hole. */

      if (S_ISREG (sb.st_mode)

           && sb.st_size / ST_NBLOCKSIZE > ST_NBLOCKS (sb))

         make_holes = 1;

    }[/code]

关键在最后一个if判断，通过注释可以看出，它通过比较sb.st_size/ ST_NBLOCKSIZE（sb是被拷文件的stat，表示inode里面存放的文件的长度）和ST_NBLOCKS (sb)（表示所占的实际磁盘大小）。来判断有没有空洞，进行处理。如果有空洞，就跳，如果没有空洞，就写0。具体实现在这里：

   [code=cpp]   if (make_holes)

         {

           buf[n_read] = 1;   /* Sentinel to stop loop.  */

 

           /* Find first nonzero *word*, or the word with the sentinel.  */

 

           ip = (int *) buf;

           while (*ip++ == 0)

             ;

 

           /* Find the first nonzero *byte*, or the sentinel.  */

 

           cp = (char *) (ip - 1);

           while (*cp++ == 0)

             ;

 

           /* If we found the sentinel, the whole input block was zero,

              and we can make a hole.  */

 

           if (cp > buf + n_read)

             {

               /* Make a hole.  */

               if (lseek (dest_desc, (off_t) n_read, SEEK_CUR) < 0L)

                   {

                     error (0, errno, _("cannot lseek %s"), quote (dst_path));

                     return_val = -1;

                     goto close_src_and_dst_desc;

                   }

               last_write_made_hole = 1;

             }

           else

             /* Clear to indicate that a normal write is needed. */

             ip = 0;

         }[/code]

问题四答案：嗯！确实比咱们的mycp考虑的周全，但是有没有别的问题呢？

 

问题五：如果一个文件里面既有空洞，又有人故意写了许多0字符。那么cp还能正确拷贝出源文件的大小吗？

先想一想，如果要我做，我该怎么实现，想来想去发现这个问题好难实现。难处在于就算通过判断文件大小分析出确实存在空洞，但是要找到哪里有空洞，还是需要一个一个读。但是是空洞的地方读出来就是0字符，和专门写的0字符没有办法分辨。看看上面cp的源码，好像也没有考虑这个问题。于是我试验了一下，创建一个文件cp.test，先lseek了1000000然后又继续写了1000000个0字符。先用ls –ls看看结果，发现它的长度为2000000，占用空间为984k。好，分别用sparse的三个参数拷贝出三个文件：cp.auto;cp.always;cp.never。再查看大小，发现cp.auto和cp.always都是只有8k，cp.never有1960k。没有一个是源程序的大小984k。看来真的没有办法分别空洞和0字符的位置了。

问题五答案：cp也有拷贝不正确的时候。从这里看出，感觉auto和always参数都是一个意思，设计的有些重复了。

 

得到许多结论：

一、空洞和单纯的0字符并不完全一样，只是空洞被读时会输出0字符。

二、咱们写的那个mycp的程序并不完善，并不能实现cp空洞文件的功能。

三、shell的cp工具也不完善，处理空洞文件时也是有bug的。虽然可以判断出文件有没有空洞，但是不能知道哪里是真正的空洞，哪里是“伪装的空洞”。

四、从cp的源码里面学到sb.st_size和ST_NBLOCKS (sb)，一般来说，这两个东西所代表的是不一样的。

 

遗留问题：如何正确拷贝出一个既有空洞又有0字符的文件呢？欢迎大家思考回答，有好的想法可以给Torbjorn Granlund, David MacKenzie, and Jim Meyering（cp的作者）写邮件。