背景:如性能测试,利用TPC-H测试5T的数据,生成的表数据如lineitem单个文件就几T,直接导入数据可能会出现数据问题,因此拆分成小文件导入,保障数据的正确性。
使用介绍
split -a3 -l 3 -d a.txt a/a-
● 3:拆分后的每个文件为3行数据
● a.txt:要拆分的文件名称
● a:存放拆分后的文件目录
● a-:表示拆分后的文件命名方式
示例介绍
存在一个a.txt文件,需要将a.txt文件进行拆分成多个为3行的小文件
root@test-rc:/# cat a.txt
12212333
123444
trttrtrt
6667
errrr
43344343
344344343
asdfads
..........
利用“使用介绍”中的命令拆分后显示
root@test-rc:/a# pwd #进入到存放文件的目录下
/a
root@test-rc:/a# ls #查看显示的文件
a-000 a-001 a-002 a-003 a-004 a-005 a-006 a-007 a-008 a-009
root@test-rc:/a# cat a-000 #根据结果可见,每个小文件的行数为3行
12212333
123444
trttrtrt