我们在处理数据文件时经常会碰到很大的文件,如果直接把文件读到内容处理,可能会超过内存大小。linux下文件分割可以通过split命令来实现
简单实用方法:
split –help
usage: split [-a sufflen] [-b byte_count] [-l line_count] [-p pattern]
[file [prefix]]
-l<行数> 指定每多少行就要切成一个小文件。
-b<字节> 指定每多少字就要切成一个小文件。支持单位:m,k
例如: split -l 100 bigfile.txt small_