用shell切分文件--split

有个文件要处理,因为很大,所以想把它切成若干份,每份N行,以便并行处理。怎么搞呢?查了下强大的shell,果然有现成的工具--split
下面记录下基本用法:

split [-bl] file [prefix]

参数说明:

-b, --bytes=SIZE :对 file 进行切分,每个小文件大小为 SIZE 。可以指定单位 b,k,m
-l, --lines=NUMBER :对 file 进行切分,每个文件有 NUMBER 行。

prefix:分割后产生的文件名前缀。


示例:

假设要切分的文件为test.2012-08-16_17,大小1.2M12081行。

1)

split -l 5000 test.2012-08-16_17
生成 xaa xab xac 三个文件。
wc -l  看到三个文件行数如下:
5000 xaa
5000 xab
2081 xac

12081 总计


2)

split -b 600k test.2012-08-16_17
生成 xaa xab 两个文件
ls -lh  看到 两个文件大小如下:
600K xaa

554K xab


3)

split -b 500k test.2012-08-16_17 example
得到三个文件,文件名的前缀都是 example
ls -lh  看到文件信息如下:
500K exampleaa
500K exampleab
154K exampleac


  • 4
    点赞
  • 20
    收藏
    觉得还不错? 一键收藏
  • 0
    评论

“相关推荐”对你有帮助么?

  • 非常没帮助
  • 没帮助
  • 一般
  • 有帮助
  • 非常有帮助
提交
评论
添加红包

请填写红包祝福语或标题

红包个数最小为10个

红包金额最低5元

当前余额3.43前往充值 >
需支付:10.00
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明:

1.余额是钱包充值的虚拟货币,按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载,可以购买VIP、付费专栏及课程。

余额充值