Linux下分割、合并文件——dd和cat

Linux下分割、合并文件——dd和cat

dd的作用是转换和拷贝文件，我们可以利用它来分割文件，相关的选项如下：

if=filename：输入的文件名

of=finename：输出的文件名

bs=bytes：一次读写的字节数，默认是512bytes

skip=blocks:拷贝前，跳过的输入文件的前blocks块，块的大小有bs决定

count=blocks：只拷贝输入文件的前blocks块

 

例如，现在有一个文件file，大小为116616字节：

[plain] view plain copy print ?

1. [root]# du -b file  
2. 116616  file  

[root]# du -b file
116616  file

将其分割为两文件file1和file2，那我们就设置每块为1024字节，将file的前60块放入file1，余下的放入file2：

[plain] view plain copy print ?

1. [root]# dd if=file bs=1024 count=60 skip=0  of=file1  
2. [root]# dd if=file bs=1024 count=60 skip=60 of=file2  

[root]# dd if=file bs=1024 count=60 skip=0  of=file1
[root]# dd if=file bs=1024 count=60 skip=60 of=file2

然后用cat将两个文件合并为file.bak，要注意文件的顺序：

[plain] view plain copy print ?

1. [root]# cat file1 file2 > file.bak  

[root]# cat file1 file2 > file.bak

可以用md5sum验证一下file和file.bak：

[plain] view plain copy print ?

1. [root]# md5sum file  
2. 3ff53f7c30421ace632eefff36148a70  file  
3. [root]# md5sum file.bak  
4. 3ff53f7c30421ace632eefff36148a70  file.bak  

[root]# md5sum file
3ff53f7c30421ace632eefff36148a70  file
[root]# md5sum file.bak
3ff53f7c30421ace632eefff36148a70  file.bak

可以证明两个文件时完全相同的。

 

为了方便分割、合并文件，我写了两个脚本：

ddf.sh：

[python] view plain copy print ?

1. #ddf.sh：分割文件，分割后的文件以数字结尾，例如file分割为两个文件：file1和file2  
2. #!/bin/sh  
3.   
4. #使用脚本是第一参数是要分割的文件名  
5. Filename=$1     
6. Filesize=0  
7.   
8. Path=`pwd`  
9.   
10. #验证文件名是否正确，然后计算文件的大小  
11. if [ -z $Filename ];then  
12.     echo "Error:The file name can not be empty"  
13.     exit  
14. fi  
15. if [ -e $Filename ];then  
16.     Filesize=`du -b $Filename | awk '{print $1}'`  
17.     if [ $Filesize == 0 ];then  
18.         echo "Error:The File size is zero!"  
19.         exit  
20.     fi  
21.     echo "The file size is $Filesize Byte"  
22.     echo "Plese enter the subfile size(KB):"  
23. else  
24.     echo "Error:$Filename does not exist!"  
25.     exit   
26. fi  
27.   
28. #输入分割后每个文件的大小，单位是KB  
29. read Subfilesize  
30. if [ -z $Subfilesize ];then  
31.     echo "Error:Input can not be empty"  
32.     exit  
33. fi  
34.   
35. echo $Subfilesize | grep '^[0-9]\+$' >> /dev/null  
36. if [ $? -ne 0 ];then  
37.     echo "Error:The Input is not a number!"  
38.     exit  
39. elif [ $Subfilesize -eq 0 ];then  
40.     echo "Error:The Subfile size is zero!"  
41.     exit  
42. fi  
43.   
44. #计算需要分割为几个文件  
45. SubfileByte=`expr $Subfilesize \* 1024`  
46. Subfilenum=`expr $Filesize / $SubfileByte`  
47. if [ `expr $Filesize % $Subfilesize` -ne 0 ];then  
48.     Subfilenum=`expr $Subfilenum + 1`  
49. fi  
50.   
51. #将文件分割  
52. echo "$Filename will be divided into $Subfilenum"   
53. i=1  
54. skipnum=0  
55. while [ $i -le $Subfilenum ]  
56. do  
57.     echo "$Filename$i"  
58.     dd if=$Filename of="$Path/$Filename$i" bs=1024 count=$Subfilesize skip=$skipnum  
59.     i=`expr $i + 1`  
60.     skipnum=`expr $skipnum + $Subfilesize`  
61. done  
62. echo "$Filename has been divided into $Subfilenum"  
63. echo "Done !"  

#ddf.sh：分割文件，分割后的文件以数字结尾，例如file分割为两个文件：file1和file2
#!/bin/sh

#使用脚本是第一参数是要分割的文件名
Filename=$1   
Filesize=0

Path=`pwd`

#验证文件名是否正确，然后计算文件的大小
if [ -z $Filename ];then
    echo "Error:The file name can not be empty"
    exit
fi
if [ -e $Filename ];then
    Filesize=`du -b $Filename | awk '{print $1}'`
    if [ $Filesize == 0 ];then
    	echo "Error:The File size is zero!"
    	exit
    fi
    echo "The file size is $Filesize Byte"
    echo "Plese enter the subfile size(KB):"
else
    echo "Error:$Filename does not exist!"
    exit 
fi

#输入分割后每个文件的大小，单位是KB
read Subfilesize
if [ -z $Subfilesize ];then
    echo "Error:Input can not be empty"
    exit
fi

echo $Subfilesize | grep '^[0-9]\+$' >> /dev/null
if [ $? -ne 0 ];then
    echo "Error:The Input is not a number!"
    exit
elif [ $Subfilesize -eq 0 ];then
    echo "Error:The Subfile size is zero!"
    exit
fi

#计算需要分割为几个文件
SubfileByte=`expr $Subfilesize \* 1024`
Subfilenum=`expr $Filesize / $SubfileByte`
if [ `expr $Filesize % $Subfilesize` -ne 0 ];then
    Subfilenum=`expr $Subfilenum + 1`
fi

#将文件分割
echo "$Filename will be divided into $Subfilenum" 
i=1
skipnum=0
while [ $i -le $Subfilenum ]
do
    echo "$Filename$i"
    dd if=$Filename of="$Path/$Filename$i" bs=1024 count=$Subfilesize skip=$skipnum
    i=`expr $i + 1`
    skipnum=`expr $skipnum + $Subfilesize`
done
echo "$Filename has been divided into $Subfilenum"
echo "Done !"

 

caf.sh：

[python] view plain copy print ?

1. #caf.sh:合并文件，需要合并的文件要放在一个文件夹里  
2. #       文件名分为两个部分，第一部分都相同，第二部分必须是从1开始的连续数字，例如file1，file2，file3  
3. #       合并后的文件名为file.bak  
4. #!/bin/sh  
5.   
6. #输入文件名的第一部分  
7. echo "Please enter file name:"  
8. read Filename  
9. if [ -z $Filename ];then  
10.     echo "Error:File name can not be empty"  
11.     exit  
12. fi  
13.   
14. #输入待合并文件的个数  
15. echo "Please enter the number of subfiles:"   
16. read Subfilenum  
17. if [ -z $Subfilenum ];then  
18.     echo "Error:The number of subfiles can not be empty"  
19.     exit  
20. fi  
21. echo $Subfilenum | grep '^[0-9]\+$' > /dev/null  
22. if [ $? -ne 0 ];then  
23.         echo "Error:Input must be a number"  
24. exit  
25. fi  
26. if [ $Subfilenum -eq 0 ];then  
27.         echo "Error:The number of subfiles can not be zero"  
28. exit  
29. fi  
30.   
31.   
32. #合并文件  
33. i=1  
34. Newfile=$Filename\.bak  
35. while [ $i -le $Subfilenum ]  
36. do  
37.     Subfilename=$Filename$i  
38.         if [ -e $Subfilename ];then  
39.             echo "$Subfilename done!"  
40.             cat $Subfilename >> $Newfile  
41.             i=`expr $i + 1`  
42.         else  
43.             echo "Error:$Subfilename does not exist"  
44.             rm -rf $Newfile  
45.             exit  
46.         fi  
47. done  
48.   
49.   
50. echo "Subfiles be merged into $Newfile"  
51. echo "Success!"  

#caf.sh:合并文件，需要合并的文件要放在一个文件夹里
#       文件名分为两个部分，第一部分都相同，第二部分必须是从1开始的连续数字，例如file1，file2，file3
#       合并后的文件名为file.bak
#!/bin/sh

#输入文件名的第一部分
echo "Please enter file name:"
read Filename
if [ -z $Filename ];then
	echo "Error:File name can not be empty"
	exit
fi

#输入待合并文件的个数
echo "Please enter the number of subfiles:" 
read Subfilenum
if [ -z $Subfilenum ];then
	echo "Error:The number of subfiles can not be empty"
	exit
fi
echo $Subfilenum | grep '^[0-9]\+$' > /dev/null
if [ $? -ne 0 ];then
        echo "Error:Input must be a number"
exit
fi
if [ $Subfilenum -eq 0 ];then
        echo "Error:The number of subfiles can not be zero"
exit
fi


#合并文件
i=1
Newfile=$Filename\.bak
while [ $i -le $Subfilenum ]
do
	Subfilename=$Filename$i
        if [ -e $Subfilename ];then
            echo "$Subfilename done!"
            cat $Subfilename >> $Newfile
            i=`expr $i + 1`
        else
            echo "Error:$Subfilename does not exist"
            rm -rf $Newfile
            exit
        fi
done


echo "Subfiles be merged into $Newfile"
echo "Success!"

 

用这两个脚本完成对file的分割、合并：

[python] view plain copy print ?

1. [root]# ./ddf.sh file   
2. The file size is 116616 Byte  
3. Plese enter the subfile size(KB):  
4. 60  
5. file will be divided into 2  
6. file1  
7. 记录了60+0 的读入  
8. 记录了60+0 的写出  
9. 61440字节(61 kB)已复制，0.0352612 秒，1.7 MB/秒  
10. file2  
11. 记录了53+1 的读入  
12. 记录了53+1 的写出  
13. 55176字节(55 kB)已复制，0.0316272 秒，1.7 MB/秒  
14. file has been divided into 2  
15. Done !  
16. [root]# ls  
17. caf.sh  ddf.sh  file  file1  file2  
18. [root]# ./caf.sh   
19. Please enter file name:  
20. file  
21. Please enter the number of subfiles:  
22. 2  
23. file1 done!  
24. file2 done!  
25. Subfiles be merged into file.bak  
26. Success!  
27. [root]# ls  
28. caf.sh  ddf.sh  file  file1  file2  file.bak  

[root]# ./ddf.sh file 
The file size is 116616 Byte
Plese enter the subfile size(KB):
60
file will be divided into 2
file1
记录了60+0 的读入
记录了60+0 的写出
61440字节(61 kB)已复制，0.0352612 秒，1.7 MB/秒
file2
记录了53+1 的读入
记录了53+1 的写出
55176字节(55 kB)已复制，0.0316272 秒，1.7 MB/秒
file has been divided into 2
Done !
[root]# ls
caf.sh  ddf.sh  file  file1  file2
[root]# ./caf.sh 
Please enter file name:
file
Please enter the number of subfiles:
2
file1 done!
file2 done!
Subfiles be merged into file.bak
Success!
[root]# ls
caf.sh  ddf.sh  file  file1  file2  file.bak