【亲测好用!】shell的split生成的文件按规律命名及添加扩展名

转载 2016年10月16日 13:48:19

转:http://seofangfa.com/shell/shell-split.html

 

shell下的split命令主要用于分割一些大文件用的,比如经常要用到将一个几十万行的TXT分割为多少行一个的文件,非常有用,唯一坑爹的是,切割后的文件不能自动添加扩展名和按规律命名,刚找到一个还算不错的示例,算是解决了分割后命名无规律的问题,记录如下。

---------------2015年11月20日补充----------------

今天又用到了split命令,想批量给分割后的文件添加扩展名,终于找到一个靠谱的方法,记录如下:

split kws.txt -l 1000 -d -a 2 url_&&ls|grep kws_|xargs -n1 -i{} mv {} {}.txt

解释一下,将kws.txt文件按每个文件1000行分割,分割后的文件命名为kws_00....kws_01....kws_02等,等split命令执行完了,紧接着执行第二条命令ls|grep kws_|xargs -n1 -i{} mv {} {}.txt,意思是先查找kws_开头的文件,然后逐个重命名为.txt

---------------补充完毕-------------

split -l 2000 urls.txt -d -a 2 url_

解释一下:

-l:按行分割,上面表示将urls.txt文件按2000行一个文件分割为多个文件

-d:添加数字后缀,比如上图中的00,01,02

-a 2:表示用两位数据来顺序命名

url_:看上图就应该明白了,用来定义分割后的文件名前面的部分。


 

Linux - 文件的分割(split)与合并(cat)

一、关于     在linux下,切割和合并文件可以使用split和cat命令来实现。 二、文件切割         文件切割模式分为两种:文本文件和二进制模式。     1、文本模式        ...
  • u013379717
  • u013379717
  • 2014年11月25日 22:26
  • 8881

linux split命令切分大文件

要将一个15G的TXT文件拆分。本来想自己写程序,后来发现效率太低,Linux shell命令split就可以完成,效率很高。     -a, --suffix-length=N     使用...
  • lucky_greenegg
  • lucky_greenegg
  • 2016年01月09日 11:25
  • 3193

用shell切分文件--split

有个文件要处理,因为很大,所以想把它切成若干份,每份N行,以便并行处理。怎么搞呢?查了下强大的shell,果然有现成的工具--split。 下面记录下基本用法: split [-bl] fil...
  • qmhball
  • qmhball
  • 2012年08月28日 17:21
  • 35727

linux下的split 命令(将一个大文件根据行数平均分成若干个小文件)

将一个大文件分成若干个小文件方法 例如将一个BLM.txt文件分成前缀为 BLM_ 的1000个小文件,后缀为系数形式,且后缀为4位数字形式 先利用 wc -l BLM.txt       读出 BL...
  • mxgsgtc
  • mxgsgtc
  • 2013年09月26日 14:05
  • 23072

Linux split cat 分割和合并文件的指令

将一个大文件分成若干个小文件方法 例如将一个BLM.txt文件分成前缀为 BLM_ 的1000个小文件,后缀为系数形式,且后缀为4位数字形式 先利用 wc -l BLM.txt   ...
  • bigengine
  • bigengine
  • 2016年02月29日 07:17
  • 865

split命令使用详解

split 参数: -a, --suffix-length=N   指定输出文件名的后缀,默认为2个 -b, --bytes=SIZE        指定输出文件的字节数 -C, --line-...
  • Truong
  • Truong
  • 2015年10月06日 20:36
  • 1081

linux split命令参数及用法详解---linux分割文件命令

功能说明:分割文件。 Split:按指定的行数截断文件 格式: split [-n] file [name] 参数说明: -n: 指定截断的每一文件的长度,不指定缺省为1000行 file: 要截断...
  • xiaoshunzi111
  • xiaoshunzi111
  • 2016年08月10日 16:49
  • 1741

Hadoop获取split文件名

在mapper()类的map方法,setup()方法中读取当前split所在文件的文件名:          //获取当前split的文件名 FileSplit fil...
  • caiandyong
  • caiandyong
  • 2015年07月16日 19:12
  • 1576

获得当前split所在的文件名

utSplit=(InputSplit)context.getInputSplit(); String filename=((FileSplit)inputSplit).getPath().getN...
  • xiewenbo
  • xiewenbo
  • 2013年10月24日 13:41
  • 474

Linux Shell 文件的排序、合并和分割

Linux的文本处理命令,包含sort、uniq、join、cut、paste、split、tr、tar,这些命令能实现对文件记录排序、统计、合并、提取、粘贴、分割、过滤、压缩和解压缩等,它们与sed...
  • beckdon
  • beckdon
  • 2013年11月11日 14:11
  • 1722
内容举报
返回顶部
收藏助手
不良信息举报
您举报文章:【亲测好用!】shell的split生成的文件按规律命名及添加扩展名
举报原因:
原因补充:

(最多只允许输入30个字)