今天有个之前的学生问了我一个问题,宣哥,你之前有没有在Linux下拆分过大文件啊?能不能简单说一下。我们稍后就围绕他问的这个问题简单聊一下。
Linux下大文件分割
个人常用方法主要是两方面:
1、按照篇章数分割;
2、按照文本行数分割;
3、按照文件大小分割;
按照篇章数分割
这种方式应该讲是最常见的,你首先要确定篇章级别的分隔符,然后写个脚本直接分割就可以了,记住此处如果是超大文件,你是需要做限流处理的。
按照文本行数分割
首先我们需要统计文本总行数
然后按照需求切分就可以了
- head / tail 按行切分
- split 按行切分
按照文本大小进行切分
- split 按照文件大小进行切分
时间关系,今天就写到这吧。