Shell脚本逐行读取文本内容并拆分,根据条件筛选文件

最新推荐文章于 2024-06-13 16:10:12 发布
最新推荐文章于 2024-06-13 16:10:12 发布
阅读量3.1k 收藏 7
点赞数
文章标签： shell
原文链接：http://www.cnblogs.com/jswl/p/9950833.html
版权
这篇博客介绍了一个Shell脚本，用于读取文本文件adc.txt，按行分割并筛选出质量等级为1的产品测试数据。脚本逐行处理文件，通过分号分割获取产品编号、员工编号、测试日期和质量等级，然后根据这些信息在特定目录下查找并复制日志文件到result文件夹。
摘要由CSDN通过智能技术生成
  • 时间：2018-11-13 整理：byzqy

需求：

　　最近帮朋友写了一段脚本，他的需求是根据一份产品清单，去服务器上捞取对应产品编号的测试Log，数量大概有9000~10000条左右。文本内容大致如下，数据有4列，分别表示：产品编号、员工编号、测试日期、质量等级。需要筛选出质量等级为“1”的产品的测试数据，数据存储在以各自员工编号命名的不同测试日期的文件夹下。log文件名中包含完整产品编号。

文件：adc.txt

 1 S0001L0001;TALLYMAN01;20180101;1
 2 S0001L0002;TALLYMAN01;20180102;0
 3 S0001L0003;TALLYMAN01;20180103;1
 4 S0001L0004;TALLYMAN01;20180104;0
 5 S0001L0005;TALLYMAN01;20180105;1
 6 S0002L0006;TALLYMAN02;20180106;0
 7 S0002L0007;TALLYMAN02;20180107;1
 8 S0002L0008;TALLYMAN02;20180108;0
 9 S0002L0009;TALLYMAN02;20180109;1
最低0.47元/天 解锁文章
acb3000
关注
  • 0
    点赞
  • 踩
  • 7
    收藏
    觉得还不错? 一键收藏
  • 0
    评论
shell脚本逐行读取文本内容并拆分,根据条件筛选写入不同文件
stdlibLOL的博客
05-29 3382
编写如下shell脚本 创建名为Organizer的shell脚本用以整理学生数据：假设有一名为Students的文本文件存放学生基本信息，每一行的格式为：“姓名；专业；省份”，该脚本能够将学生信息依据省份导入北方和南方个两个不同的文件（华北、东北、西北地区为北方，其余为南方），文件名分别是NorthStudents和SouthStudents，如果省份信息存在错误则放入另一个文件ErrStudentsInfo，内容保持不变。要求： a) 结果数据写入必须使用文件描述符。 b) 使用函数来判断学生信息应该导
shell IFS
小镜子~
08-15 915
#!/bin/bash # weirdvars.sh: Echoing weird variables. var="'(]\\{}\$\"" echo $var # '(]\{}$" echo "$var" # '(]\{}$" 和上面一句没什么不同. echo IFS='\' echo $var # '(] {}$" \字符被空白符替换
shell查询文件中的内容
最新发布
NLP与推荐算法
06-13 157
大文件关键字检索
shell awk （按行切割、分析）的基本使用
猎人在吃肉
06-09 1万+
awk ，一个强大的文本分析工具，把文件逐行的读入，以空格为默认分隔符将每行切片，切开的部分再进行分析处理。 1. 基本用法 awk [选项参数] 'pattern1{action1} pattern2{action2}...' filename 选项参数说明： 选项参数 功能 -F 分隔符。指定输入文件的分隔符 -v 临时变量。赋值一个用户定义变量 patternN{actionN} 说明： pattern ：表示 awk 在数据中查找的内容，就是匹配模式； actio
工作中的shell数据提取与操作
sf_jiang的博客
06-29 3242
问题一：有台正常运行的服务器，共有48个网口，并且网口号处于没有经过调整的混乱状态，怎样快速的找出eth0~eth47对应的物理网口位置？ shell命令# for i in `seq 0 47`; do ethtool -p eth$i 2; done 说明：遍历i=0~47，对每个 eth$i ， 执行 ethtool -p 命令，意思是点亮该网口2秒钟。 问题二：查看linux系......
shell读取文件的每行并进行处理
Saber190919的专栏
07-26 2178
shell读取文件的每行并进行处理。
Shell 脚本进阶，经典用法详解及其案例【条件选择判断、循环语句、循环用法、信号捕捉
2301_79987255的博客
04-26 589
done图片exp1只执行一次，相当于在for里嵌了while。
shell 拆分文件（按行数、按大小）
dujidan的博客
08-11 6228
shell 拆分文件（按行数、按大小） split -l 10 target.txt split. 会在当前目录生产多个文件，每个文件有10行。 命名方式，如下： split.aa split.ab 拆分文件（按行拆分 -l，按大小拆分 -b ，后面可加单位：b、k、m等) -l 3 表示按行拆分、每3行一个文件 a.txt 要拆分的文件名 spfile. spfile为要拆分的文件名前缀，“ .” 为前缀和后缀的分隔符。 ...
筛选出几列数据均等0的行 Linux,Shell cut命令：查找符合条件的行
weixin_29158047的博客
05-13 935
grep 命令是在文件中提取符合条件的行，也就是分析一行的信息，如果行中包含需要的信息，就把该行提取出来。而如果要进行列提取，就要利用 cut 命令了。不过要小心，虽然 cut 命令用于提取符合条件的列，但是也要一行一行地进行数据提取。也就是说，先要读取文本的第一行数据，在此行中判断是否有符合条件的字段，然后再处理第二行数据。我们也可以把 cut 成为字段提取命令。命令格式如下：[root@loc...
Shell脚本中读取文件每一行的方法总结
热门推荐
Alfred的博客
02-23 3万+
这篇文章主要使用Shell脚本循环读取文件每一行内容的方法总结； 1.使用while循环 while read -r line do echo $line done < filename 或 cat filename | while read line do echo $line done While循环中read命令从标准输入中读取一行，并将内容保存到变量line中。在这里，-r选项保证读入的内容是原始的内容，意味着反斜杠转义的行为不会发生。输入重定向操作符< file打开并
【shell】shell字符串分割|文件分割
小鱼菜鸟的博客
10-08 4181
目录 一、字符串分割 1、awk分割 2、利用shell 中 变量 的字符串替换成空格分割 3、设置分隔符，通过 IFS 变量 4、利用tr 指令实现字符替换 二、文件分割 附录 【转】linux下awk内置函数的使用(split/substr/length) 四、gsub函数 五、正则表达式 一、字符串分割 1、awk分割...
【linux/shell实战案例】awk、sed提取数据常用的各种小技巧
qq_35902025的博客
10-05 4167
cat file | awk '{print substr($1,1,5)}' 分别是第1个字段，第1个字符到第5个字符。sed "/$x/d/" file 或 sed -n "$i"p file。整数比较： if [ "$a" -eq "$b" ] a,b为整数。按列: paste a b > c 将文件a b 以列的形式合并。字符串比较：if [ "$a" = "$b" ] a,b为字符串。:echo -n " " >> temp （不换行）按行:cat a>>b 将文件a追加到文件b的尾部。
shell读取文件的每一行
大叶子不小的博客
03-08 3704
写法一： #!/bin/bash while read line do echo $line done < filename(待读取的文件) 写法二： #!/bin/bash cat filename(待读取的文件) | while read line do echo $line done 写法三： for line in `cat filename(待读取的文件)` do echo $line done for 逐行读会分割行内容 ...
shell读取文件每一行的方式
weixin_30751947的博客
10-30 480
1、使用read命令读取一行数据 while read myline do echo "LINE:"$myline done < datafile.txt 2、使用read命令读取一行数据 cat datafile.txt | while read myline do echo "LINE:"$myline done 3、#读取一行数据 ...
shell 读取文件内容 不以空格换行 再把每行的字符串切分取一部分
每天进步一点点儿
05-09 1万+
最近有个需求，想读取一个文件中的每行数据，分别处理，用for循环的时候，会把每行的数据按照空格和回车进行循环，没法拿到整行数据，查了下网上资料，决定修改下分隔符号。 脚本及说明如下： IFS_old=$IFS # 记录老的分隔符 IFS=$'\n' # 以换行符作为分隔符 for line in `cat 要处理的文件`; do echo "$line...
shell文件读取及字符串分隔符
kirrin的专栏
06-30 1万+
step1. 准备待处理的数据文件data.txt： abc;def 123;456 qwe;rty step2. 脚本文件 test.csh： #! /bin/bash #备份IFS OLD_IFS="$IFS" #设置新的分隔符为; IFS=";" #读取文件中的行 while read LINE do echo $LINE #将字符串$L
shell命令按行分割文本文件
丶自定义
05-25 5051
windows环境下可以使用 Git Bash执行 split 命令 sed 常用的分割文本的方法都是通过sed -n 命令来操作 优点：是可以指定具体的行 缺点：每次分割要重新读取整个文本，效率比较低。 split 缺点：不能将结果一次放在指定的文件夹，此时可以已区别其他文件名的格式命名然后mv就行 用法: split [参数] 需要分割的文件 参数 -b size：对file进行切分，每个小文件大小为size。可以指定单位b、k、m。 -C size：与-b选项类似，但是切割时.
shell按行从文件读取, 分割成数组
yl0706401049的专栏
06-08 2万+
cut -d 如果找不到分割符号， 就会输出原字符串，无聊-f后面是什么，加-s就什么都不输出了 #!/bin/bash # 从文件中按行读取,每行分割成字符串, 形成数组# j=0 while read line do i=1 while : do str=` echo $line | cut -d ":" -f $i ` #echo
写一个shell脚本，逐行读取csv文件
06-12
好的，以下是一个逐行读取csv文件的shell脚本： ```shell #!/bin/bash # csv文件路径 csv_path="/path/to/csv/file.csv" # 逐行读取csv文件 while read line; do # 将每行以逗号为分隔符拆分为数组 IFS=',' read -ra fields <<< "$line" # 打印每个字段 for field in "${fields[@]}"; do echo "$field" done done < "$csv_path" ``` 这个脚本会打印出csv文件中每个字段的值。你可以将`echo "$field"`改为任何你想要的处理操作。
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值