大文件 分片和 合成

越来越喜欢 linux 系统，命令行工具功能强大、操作简单。

大文件分片 split 工具

---

linux 下 cheat 查看 split 帮助

cheat split 

#To split a large text file into smaller files of 1000 lines each:
split file.txt -l 1000

#To split a large binary file into smaller files of 10M each:
split file.txt -b 10M

# To consolidate split files into a single file:
cat x* > file.txt

将文件splitTest.txt分割成多个文件，分割后的每个文件大小为10M，指定分割后的文件前缀位split，命令：

split -b 20m splitTest.txt  split  
splitaa  splitab  splitac  splitTest.txt  

分片文件合成

windows 下 用 type、类unix 用 cat

cat

---

# To consolidate split files into a single file:
cat x* > file.txt

cat splita* > file.txt

type

---

type splita* > file.txt

文件校验 md5sum 工具

---

md5sum XXX 可计算文件的 md5
md5sum XXX > XXX.md5 可将文件的 md5 保存至 XXX.md5 文件中
md5sum -c XXX.md5 可检查 XXX.md5 中记录的 文件 及其 md5 是否匹配

完整流程

#对于大文件 Qt5.6.0.7z
#先使用 split 将 Qt5.6.0.7z 分解成 200M 一个的小文件，
split Qt5.6.0.7z -b 200M Qt5.6.0
# ls 可 看到 当前目录生成了  Qt5.6.0aa、Qt5.6.0ab、Qt5.6.0ac 等文件
#然后为 Qt5.6.0.7z 生成 md5 校验文件，为后续文件拼接提供校验能力
md5sum Qt5.6.0.7z > Qt5.6.0.sum
# Qt5.6.0.sum 的内容大致如下
# 4cf34f9709c47f337f86822374233b1c  Qt5.6.0.7z
# 4cf34f9709c47f337f86822374233b1c 表示是  Qt5.6.0.7z 文件的 md5 码
# 然后可以扩散 Qt5.6.0aa、Qt5.6.0ab、Qt5.6.0ac 这些小文件 和 Qt5.6.0.sum 校验文件供他人下载
# 以下是下载后合并校验过程
# 将 Qt5.6.0aa、Qt5.6.0ab、Qt5.6.0ac 合并 成  Qt5.6.0.7z
cat Qt5.6.0a* > Qt5.6.0.7z
# 验证 Qt5.6.0.7z 的 md5
md5sum -c Qt5.6.0.sum
# 等待 echo “Qt5.6.0.sum”
# 完成。