Linux 大文件(1T)拆分为小文件,每个文件300万行的操作方法

背景:如性能测试,利用TPC-H测试5T的数据,生成的表数据如lineitem单个文件就几T,直接导入数据可能会出现数据问题,因此拆分成小文件导入,保障数据的正确性。

使用介绍

split -a3 -l 3 -d a.txt a/a-

● 3:拆分后的每个文件为3行数据
● a.txt:要拆分的文件名称
● a:存放拆分后的文件目录
● a-:表示拆分后的文件命名方式

示例介绍

存在一个a.txt文件,需要将a.txt文件进行拆分成多个为3行的小文件

root@test-rc:/# cat a.txt
12212333
123444
trttrtrt
6667
errrr
43344343
344344343
asdfads
..........

利用“使用介绍”中的命令拆分后显示

root@test-rc:/a# pwd    #进入到存放文件的目录下
/a
root@test-rc:/a# ls        #查看显示的文件
a-000  a-001  a-002  a-003  a-004  a-005  a-006  a-007  a-008  a-009
root@test-rc:/a# cat a-000    #根据结果可见,每个小文件的行数为3行
12212333
123444
trttrtrt
  • 0
    点赞
  • 0
    收藏
    觉得还不错? 一键收藏
  • 0
    评论

“相关推荐”对你有帮助么?

  • 非常没帮助
  • 没帮助
  • 一般
  • 有帮助
  • 非常有帮助
提交
评论
添加红包

请填写红包祝福语或标题

红包个数最小为10个

红包金额最低5元

当前余额3.43前往充值 >
需支付:10.00
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明:

1.余额是钱包充值的虚拟货币,按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载,可以购买VIP、付费专栏及课程。

余额充值