split分割文件

split分割文件

split [-bl] file [prefix]

参数说明：
-b, --bytes=SIZE：对file进行切分，每个小文件大小为SIZE。可以指定单位b,k,m。
-l, --lines=NUMBER：对file进行切分，每个文件有NUMBER行。
prefix：分割后产生的文件名前缀。

 

示例：

假设要切分的文件为test.txt，大小1.2M，12000行。

1)

split -l 5000 test.txt

生成xaa，xab，xac三个文件。
wc -l 看到三个文件行数如下：
5000 xaa
5000 xab
2000 xac

haiou@gpu3-1080:/home/hd_1T/haiou/testdata/termselect/data$ split -l 1925 turkerSalientTermsWithOmnibus-v3.tsv-processed.jsonl 
haiou@gpu3-1080:/home/hd_1T/haiou/testdata/termselect/data$ ls
turkerSalientTermsWithOmnibus-v3.tsv  turkerSalientTermsWithOmnibus-v3.tsv-processed.jsonl  xaa  xab
haiou@gpu3-1080:/home/hd_1T/haiou/testdata/termselect/data$ wc *
    2407    86520   778512 turkerSalientTermsWithOmnibus-v3.tsv
    2407   912352  5479332 turkerSalientTermsWithOmnibus-v3.tsv-processed.jsonl
    1925   721819  4341864 xaa
     482   190533  1137468 xab
    7221  1911224 11737176 total

　　

 

2)

split -b 600k test.txt

生成xaa，xab两个文件

ls -lh 看到 两个文件大小如下：
600K xaa
554K xab

 

3)

split -b 500k test.txt example

得到三个文件，文件名的前缀都是example

ls -lh 看到文件信息如下：
500K exampleaa
500K exampleab
154K exampleac

参考：https://blog.csdn.net/qmhball/article/details/7917033

posted @ 2019-05-07 16:15 hozhangel 阅读( ...) 评论( ...) 编辑 收藏