shell脚本分割文件成相同行数的文件

最新推荐文章于 2022-11-18 20:42:15 发布
最新推荐文章于 2022-11-18 20:42:15 发布
阅读量248 收藏
点赞数
文章标签： shell awk

使用shell脚本将testfile.txt文件（共7800行）分割成13个文件，每个文件600行，文件名的前缀是SplitFile

[root@mx1 /home/sysadmin/zhaoyj]# cat testfile.txt |wc -l
7800


脚本如下：

[root@mx1 /home/sysadmin/zhaoyj]# cat split.sh

#!/bin/sh
linenum=`wc -l testfile.txt |awk '{print $1}'`
Num1=1
FileNum=1
while [ $Num1 -lt $linenum ]
do
Num2=`expr $Num1 + 599`
sed -n "${Num1}, ${Num2}p " testfile.txt > SplitFile$FileNum
Num1=`expr $Num2 + 1`
FileNum=`expr $FileNum + 1`

done


最后生成的文件是

[root@mx1 /home/sysadmin/zhaoyj]# ls |grep '^SplitFile' |wc -l
13

[root@mx1 /home/sysadmin/zhaoyj]# ls |grep '^SplitFile'

SplitFile1
SplitFile10
SplitFile11
SplitFile12
SplitFile13
SplitFile2
SplitFile3
SplitFile4
SplitFile5
SplitFile6
SplitFile7
SplitFile8
SplitFile9


最后再核实一下每个文件的大小是否一致

[root@mx1 /home/sysadmin/zhaoyj]# ls |grep '^SplitFile' |xargs wc -l
600 SplitFile1
600 SplitFile10
600 SplitFile11
600 SplitFile12
600 SplitFile13
600 SplitFile2
600 SplitFile3
600 SplitFile4
600 SplitFile5
600 SplitFile6
600 SplitFile7
600 SplitFile8
600 SplitFile9
7800 total



iteye_13556
关注
shell 将大文件平均分割成指定数量的小文件
qq_43382735的博客
04-14 3161
shell 将大文件平均分割成指定数量的小文件 1.假设有大文件hello.csv,先查看大文件行数 file_rows=wc -l hello.csv|awk '{print 1}' 选取wc命令打印结果的第一列，即行数。 2.假设要平均分割成10个小文件 file_num=10 3.生成总行数 file_num_row=$((${file_rows} + 9)) 解释一下为什么要加9，因为行数可能是33333行，除以10的话每个文件就是3333行，就丢失了3行，所以加上（文件数-1）行可以保证行不
使用篇-使用shell统计文件行数的几种方法和spark读取csv的常用注意点分享
爱程序，爱生活
08-21 1124
1.shell命令统计文件行数的几种方式 wc -l # wc的-l命令 line awk 'END{print NR}' # awk awk '{print NR}' |tail -n1 #awk grep -n ""|awk -F: '{print '}|tail -n1 #awk sed -n '$=' # sed 2.spark读取csv文件时常用的option参数解释 option desc header 默认false 将第一行作为列名 sep 默认, 指定单个字符
shell截取文件行数_Shell脚本分割文件成相同行数的文件
weixin_39897449的博客
12-21 276
使用shell脚本将testfile.txt文件(共7800行)分割成13个文件，每个文件600行，文件名的前缀是SplitFile[root@www.linuxidc.com /home/sysadmin/zhaoyj]# cat testfile.txt |wc -l7800脚本如下：[root@www.linuxidc.com /home/sysadmin/zhaoyj]# cat spl...
Shell脚本学习指南（三）——文本处理工具
m0_56145255的博客
11-18 1394
这样的命令已经不像以前那么好用了：打印工作很快就传到打印机，并出现在打印机daemon上，显示好了，然后从打印机队列中删除——即使打印机仍然将它们搁在内存或是文件系统里，这时，他仍能同时处理其他的打印工作。还有一种更好用的开放源代码版本，由于许多人的贡献，让我们可以享受到它的便利：它识别的文件类型有1200多种，包含许多非UNIX操作系统下的文件。将输入看做具有多条记录的数据流，而记录是由可宽度的字段组成，记录是以换行字符作为定界符，字段的定界符则是空白哦字符或是用户指定的单个字符。
shell命令拆分文本（按照行数、大小、字段值）
－=海 阔 天 空=－
01-16 1万+
转载：http://blog.sina.com.cn/s/blog_551d7bff0100szyt.html 拆分文件（按行拆分 -l，按大小拆分 -b ，后面可加单位：b、k、m等）   split -l 3 a.txt spfile. 会在当前目录生产3个文件 spfile.aa spfile.ab  spfile.ac   -l 3 表示按行拆分、每3行一个文件  a.txt 要拆
shell 拆分文件（按行数、按大小）
dujidan的博客
08-11 6344
shell 拆分文件（按行数、按大小） split -l 10 target.txt split. 会在当前目录生产多个文件，每个文件有10行。 命名方式，如下： split.aa split.ab 拆分文件（按行拆分 -l，按大小拆分 -b ，后面可加单位：b、k、m等) -l 3 表示按行拆分、每3行一个文件 a.txt 要拆分的文件名 spfile. spfile为要拆分的文件名前缀，“ .” 为前缀和后缀的分隔符。 ...
Linux下的split 命令（将一个大文件根据行数平均分成若干个小文件）
897371388
06-15 978
将一个大文件分成若干个小文件方法 例如将一个BLM.txt文件分成前缀为 BLM_ 的1000个小文件，后缀为系数形式，且后缀为4位数字形式 先利用 wc -l BLM.txt 读出 BLM.txt 文件一共有多少行 再利用 split 命令 split -l 2482 ../BLM/BLM.txt -d -a 4 BLM_ 将 文件 BLM.txt 分成若干个小文件，每个文件2482...
Shell脚本统计文件行数的8种方法
09-15
在Shell脚本编程中，有时我们需要统计文件或一组文件中的行数。这篇文章主要讲述了8种不同的方法来实现这个目标，分为两大类：获取单个文件的行数和获取特定目录下所有文件的行数。 **获取单个文件行数的方法** 1....
shell脚本对文本文件的切割
最新发布
09-10
在计算机领域，切割文本文件通常指的是将一个大文件分割成若干个小文件，这在处理大型日志文件、数据备份或数据分析时非常有用。在Shell中，我们可以利用`cut`命令来实现这个功能。 `cut`命令的基本语法是： ```...
Linux实用脚本4：批量统计文件行数&shell 字符串操作
本博客纯属个人学习记载，不对外负责，若有错误，请批评指正
02-22 1649
背景          T24银行核心业务系统自带DFE（数据格式化引擎）可以导出相关业务数据（其以XML文件格式存储于ORACLE数据库），导出后形成类似CSV（Comma-Separated Values，逗号分割文件）文件。如今，业务要求批量统计所有导出文件的行数（记录数），因而有此博文。 源码 #!/bin/bash DIR_PATH="/mnt/bnk/interfaces/S...
linux shell 切割文件,linux shell 将文件按照行数以及顺序拆分成多个文件
weixin_39862697的博客
04-29 1265
awk -vf=3 -vl="`wc -l file`" 'BEGIN{p=int(l/f);q=(l%f);for(n=1;n<=f;n++)a[n]=n*p+((n<=q)?++x:x)}{if(NR>a[i])i++;print >"file"i}' file这里的-vf=3 表示将file拆分成3个文件，另外还有一种解法，如下所示：#!/bin/bashif [ $...
shell取出多列文件中某一列重复的数据
weixin_30894583的博客
09-25 706
文件内容的格式是： 1　　张三 2　　李四 3　　张三 第二列有重复数据，去重的脚本如下： #!/bin/bash sort -t\t -k2 File.txt | awk -F'\t' '{ if($2 == VALUE) {} else if($2 != VALUE) { VALUE = $2; print $0; } }' > t...
linux shell 将文件按照行数以及顺序拆分成多个文件
weixin_34037977的博客
09-08 1657
awk -vf=3 -vl="`wc -l file`" 'BEGIN{p=int(l/f);q=(l%f);for(n=1;n<=f;n++)a[n]=n*p+((n<=q)?++x:x)}{if(NR>a[i])i++;print >"file"i}' file这里的-vf=3 表示将file拆分成3个文件，另外还有一种解法，如下所示：#!/bin...
Linux下的split 命令——将一个大文件根据行数平均分成若干个小文件
热门推荐
u010555688的专栏
12-20 1万+
例如：将一个BLM.txt文件分成前缀为 BLM_ 的1000个小文件，每个文件10000行，文件名称后缀为4位数字形式 命令： split -l 10000 BLM.txt -d -a 4 BLM_ 解析： 每个文件10000行(-l 10000)； 文件名称后缀系数不是字母而是数字（-d）； 后缀系数为四位数（-a 4）
shell命令按行分割文本文件
丶自定义
05-25 5360
windows环境下可以使用 Git Bash执行 split 命令 sed 常用的分割文本的方法都是通过sed -n 命令来操作 优点：是可以指定具体的行 缺点：每次分割要重新读取整个文本，效率比较低。 split 缺点：不能将结果一次放在指定的文件夹，此时可以已区别其他文件名的格式命名然后mv就行 用法: split [参数] 需要分割的文件 参数 -b size：对file进行切分，每个小文件大小为size。可以指定单位b、k、m。 -C size：与-b选项类似，但是切割时.
利用shell脚本对大文件进行分割
weixin_34408624的博客
04-08 523
         有系统运维的过程中，日志文件往往非常大，这样就要求对日志文件进行分割，在此特用shell脚本对文件进行分割   方法一：  #!/bin/bash         linenum=`wc   -l   httperr8007.log|   awk   '{print   $1}'`     n1=1     file=1     while   [   $n1   -lt ...
关于Split()以某个字符串分割，解决特定字符串连续出现的问题
lvguangguan的博客
09-24 3275
string s = "sasd asd asd asd sa"; string[] ss = s.Split(new char[] { ' ' }, StringSplitOptions.RemoveEmptyEntries); 用Split()进行字符串拆分时常常遇到的问题是，可能在要拆分字符串里的指定分割符是不确定的，它们可能连续出现。 比如用“,”号分割字
Shell脚本统计文件行数的高效方法
"这篇文章主要介绍了如何使用Shell脚本来统计文件的行数，包括对单个文件和特定目录下所有文件的统计。文章列举了8种不同的方法，适用于不同场景下的行数统计需求。" 在Shell脚本中，统计文件行数是一项常见的任务...
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值