linux shell脚本攻略 第四章 让文本飞 grep，cut，sed，awk，paste

最新推荐文章于 2021-05-13 04:03:35 发布
最新推荐文章于 2021-05-13 04:03:35 发布
阅读量371 收藏
点赞数
分类专栏： python shell 文章标签： linux python
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/IanWatson/article/details/105484948
版权

目录

1.正则表达式

正则表达式手册：https://tool.oschina.net/uploads/apidocs/jquery/regexp.html

  • 举例

    匹配邮箱：[a-z0-9_]+@[a-z0-9]+.[a-z]+
    匹配所有单词：( ?a-zA-z ?)
    匹配ip：[0-9]{1,3}.[0-9]{1,3}.[0-9]{1,3}.[0-9]{1,3}

  • 处理特殊字符
    特殊字符包括$,+,^,*,.等
    加反斜杠\，如a.txt在正则中为a.txt

2.使用grep搜索文本

  • 常用选项
    grep word：搜索包含模式的匹配行
    -o：只输出匹配到的部分
    -v：反转匹配结果，打印没有匹配到的行
    -c：统计匹配行数
    -n：打印出行号和行
    -b：打印出字节偏移，总是和-o一起使用
    -l：搜索多个文件并输出匹配模式在哪个文件
    -R：递归搜索
    -i：忽略大小写
    -e：指定多个模式，grep -e pattern1 -e pattern2
    -f：从文件中读取模式
    -Z：输出以’\0’字节作为终止字符
    -q：静默输出，用于检测搜索结果
    -ABC 5：打印前，后，前后5行

    grep -o|wc -l：输出匹配次数
    –include：包含那些文件，例如–include *.{cpp,c}
    –exclude：不包含哪些文件，例如–exclude *.{md, git}
    –color=auto：着重标记匹配到的单词
    grep -E或者egrep：使用正则表达式匹配

  • 举例

Ian>grep maybe a.txt 
It's maybe the slowest bus Which colour for her is right
It's maybe the slowest bus
Ian>grep  -E "[W-Z]+" a.txt 
It's maybe the slowest bus Which colour for her is right
You tell me truth will not be here
Which colour for her is right
You tell me they are tough and red
Ian>grep  -v i a.txt 
And I see all the teenagers'eyes you tell me they are tough and red
It's maybe the slowest bus
And I see all the teenagers'eyes
You tell me they are tough and red
Ian>grep  -o up a.txt 
up
Ian>grep  -c it a.txt 
10
Ian>grep  -o u a.txt |wc -l
26
Ian>grep  -n up a.txt
8:Put up you in sandwiches hands oh I think it not really cool
Ian>grep  -b -o up a.txt
366:up
Ian>grep -l "it" a.txt b.txt 
a.txt
b.txt
Ian>grep -R -n "up" 
out.html:51:		 Charsets / OS/2 support © 2001 by Kyosuke Tokoro
grep/a.txt:8:Put up you in sandwiches hands oh I think it not really cool
grep/b.txt:8:Put up you in sandwiches hands oh I think it not really cool
Ian>grep -i "RED" a.txt 
And I see all the teenagers'eyes you tell me they are tough and red
You tell me they are tough and red
Ian>grep -e "up" -e "red" a.txt 
And I see all the teenagers'eyes you tell me they are tough and red
Put up you in sandwiches hands oh I think it not really cool
You tell me they are tough and red
Ian>cat pat_file 
you
up
Ian>grep -f pat_file a.txt 
And I see all the teenagers'eyes you tell me they are tough and red
Say say it again you know the past things could set my free
Put up you in sandwiches hands oh I think it not really cool
I've found it in your eyes
Say say it again you know the past things could set my free
Say say it again you know the past things could set my free
Say say it again you know the past things could set my free
Ian>grep -q "dada" a.txt 
Ian>echo $?
1

3.使用cut按列切分文件

  • 常用命令
    -d：指定定界符
    -f ：指定字段
    -c：指定字符
    -b：指定字节
    -c/f/b 2,3：指定第2.3个字符，字段，字节
    -c/f/b 2-4：指定第2-4个字符，字段，字节
    -c/f/b -4：指定1-4个字符，字段，字节
    -c/f/b 5-：指定第5到最后一个字符，字段，字节
    –output-delimiter “,”：指定多个字段时的分隔符，比如-c 2-4,5-6 --output-delimiter “,”
    –complement：提取补集
  • 举例
Ian>cat a.txt 
1 2 3 4 5 6 
2 4 6 8 9 11
3 6 9 11 12 13
Ian>cut -d " " -f 2-3 a.txt 
2 3
4 6
6 9
cut -d " " -f 2-3,4-5 a.txt --output-delimiter "."
2.3.4.5
4.6.8.9
6.9.11.12
cut -c 2-3,4-8 a.txt --output-delimiter "."
 2. 3 4 
 4. 6 8 
 6. 9 11
Ian>cut -c 2-3,4- a.txt --output-delimiter "."
 2. 3 4 5 6 
 4. 6 8 9 11
 6. 9 11 12 13
Ian>cut -b 2-6,7- a.txt --output-delimiter "...."
 2 3 ....4 5 6 
 4 6 ....8 9 11
 6 9 ....11 12 13

4.使用sed进行替换

sed命令详解：https://www.cnblogs.com/ftl1012/p/9250171.html
此处只讲替换功能

  • 常用方法
    • 常见参数
      参数s：替换文本,替换命令用替换模式替换指定模式
      参数g：替换行中所有的匹配，如果想从第2个处替换：2g
      定界符：可以任意指定定界符，如替换成":“或者”|"，定界符出现在样式内部时需要使用""转义
    • 常用命令
      -e：允许多项编辑，如sed -e “s/a/b/g” -e “s/c/d/g” file
      -i：将替换直接写入原文件
    • 举例
Ian>cat a.txt 
aa ab ac ad aa aa
Ian>sed "s/aa/SS/" a.txt #只修改第一个
SS ab ac ad aa aa
Ian>sed "s/aa/SS/2g" a.txt #从第二个开始修改
aa ab ac ad SS SS
Ian>sed -e "s/aa/SS/" -e "s/ab/DD/" a.txt #选择多个表达式
SS DD ac ad aa aa
Ian>sed -i "s/aa/SS/g" a.txt 
Ian>cat a.txt 
SS ab ac ad SS SS
Ian>sed  "sa\adaSAag" a.txt #定界符为a，出现在内容中，需要转义
SS ab ac SA SS SS
Ian>cat b.txt 
1221

12312
Ian>sed "/^$/d" b.txt #删除空白行
1221
12312

  • 高级用法

    • sed -ibak：直接替换内容，且生成一个原文件的副本file.bak
    • &：标记匹配到的字符串
    • \1,\2：标记匹配到的第一个，第二个
    • 双引号：可以使用变量
    • 举例
Ian>sed -i.bakfile "s/ad/dwdwd/g" a.txt #添加bak文件
Ian>ls
a.txt  a.txt.bakfile  b.txt
Ian>cat a.txt
SS ab ac dwdwd SS SS
Ian>sed "s/ac/[&]/g" a.txt #&标记匹配到的字符串
SS ab [ac] dwdwd SS SS
Ian>cat a.txt
SS ab ac dwdwd SS SS
aa SS aa SS
Ian>sed 's/\([a-z]\+\)\+ \([A-Z]\+\)/\2 \1/' a.txt #获取匹配到的参数
SS ab ac SS dwdwd SS
SS aa aa SS
Ian>text="hello"
Ian>echo "hello world"|sed "s/$text/hhh/g"
hhh world

5.awk高级文本处理

  • 基本使用：

    awk "BEGIN { begin statements } pattern { commands } END { end statements }"

Ian>awk "BEGIN { i=0 } { i++ } END { print i }" b.txt 
3

print参数以逗号分隔，打印时按照空格分隔；print中的双引号为连接符用

an>echo | awk "{ v1=\"v1\"; v2=\"v2\"; print v1,v2;}"
v1 v2
Ian>echo | awk "{ v1=\"v1\"; v2=\"v2\"; print v1 \"-\" v2;}"
v1-v2

  • 工作流程：

    1.执行BEGIN中的命令
    2.执行pattern {command}中的命令，按行执行
    3.执行END中的命令

  • 特殊变量

    NR：行号
    NF：当前行的字段数
    $0：当前行的内容
    $1：当前行的第一个字段
    $2：当前行的第二个字段

    • 特殊变量过滤
      NR<5：行号小于5
      NR=.=1；NR==4：1到4行
      ‘/linux/’：包含模式linux的行
      ‘!/linux/’：不包含模式linux的行
    • 举例
Ian>echo -e "line1 f2 f3\nlin2 f4 f5" | awk '{print "Line no:"NR"  Line field:"NF"  $0="$0"  $1="$1"  $2="$2 "  $(NF-1)=" $(NF-1)}'
Line no:1  Line field:3  $0=line1 f2 f3  $1=line1  $2=f2  $(NF-1)=f2
Line no:2  Line field:3  $0=lin2 f4 f5  $1=lin2  $2=f4  $(NF-1)=f4
Ian>echo -e "line1 f2 f3\nlin2 f4 f5" | awk ' NR==1 { print $2 }'#只打印第一行
f2
Ian>awk "END { print NR }" out.html #统计行数
54
Ian>seq 3 | awk ' BEGIN { sum=0; print sum } { print ; sum=sum+$1 } END { print sum }'#加和
0
1
2
3
6
Ian>seq 3 | awk ' BEGIN { sum=0; print sum } NR==1,NR==2 { print ; sum=sum+$1 } END { print sum }'只对1-2行加和
0
1
2
3
Ian>seq 3 | awk ' BEGIN { sum=0; print sum } /2/ { print ; sum=sum+$1 } END { print sum }'#只对含有2的行执行
0
2
2
Ian>seq 3 | awk ' BEGIN { sum=0; print sum } !/2/ { print ; sum=sum+$1 } END { print sum }'#只对不含有2的行执行
0
1
3
4
Ian>echo -e "line1 f2 f3\nlin2 f4 f5" | awk '  { if(NR%2==1) print $2; }'#取余
f2
  • 高级用法
    • 将外部变量传给awk
    • getline读取行
    • 使用循环
    • 内建字符串函数：length(str),index(str,search_str),split,substr,sub,gsub,match等函数
Ian>v1=1111
Ian>v2=2222
Ian>echo | awk " { print v1,v2 }" v1=$v1,v2=$v2#传入外部变量
1111,v2=2222
Ian>seq 3|awk 'BEGIN { getline; print "getline:"$0 } { print ; }'#获取一行
getline:1
2
3
Ian>echo |awk '{ "grep root /etc/passwd" |getline output; print output }'#使用getline将数据输出传给output变量
root:x:0:0:root:/root:/bin/bash
Ian>echo |awk '{ for(i=0;i<3;i++) print i; }'#使用for循环
0
1
2

6.按列合并文件（paste）

paste fille1 file2 -d “,”：按列合并两个文件，用","当做分隔符

Ian>cat f1 
1
2
3
Ian>cat f2
4
5
6
7
Ian>paste f1 f2 -d "."
1.4
2.5
3.6
.7

7.打印两个pattern之间的文本

awk ’ /start_pattern/, /end_pattern/’ file

Ian>cat f1 
1
2
3
Ian>awk '/1/,/2/' f1
1
2

8.倒序打印文本

  • tac命令
    tac是反过来的cat
Ian>cat f1
1
2
3
Ian>tac f1
3
2
1
  • 使用awk实现栈
Ian>awk '{ stack[NR]=$0 } END { for(i=NR;i>0;i--) print stack[i]; }' f1
3
2
1

9.替换目录中所有文件的文本

Ian>cat test.txt 
a s d f
Ian>find ./ -name *.txt -print0| xargs -I{} -0 sed -i "s/a/b/g" {}
Ian>cat test.txt 
b s d f
IanWatson
关注
  • 0
    点赞
  • 踩
  • 0
    收藏
    觉得还不错? 一键收藏
  • 0
    评论
专栏目录
Linux文本处理命令：awk、sed、grep
07-06
awk、sed、grep是linux的三剑客，在文本处理的场景中，掌握这三个命令真的是很有用
Linux_shell——第4章 让文本飞
会思考的浣熊的专栏
09-06 399
第4章 让文本飞4.1 简介4.2 使用正则表达式4.3 grep4.4 cut4.5 sed4.6 awk4.7 统计词频
Linux Shell 脚本攻略 ---- 第四章 让文本飞
我是传奇
01-22 152
4.1 正则表达式入门 1 正则表达式是基于样式匹配的文本处理技术的关键所在 2 正则表达式是用于绝大多数文本处理工具的一种语言 3 正则表达式的基本组成部分 正则表达式 描述 ^ 行起始标记 $ 行尾标记 . 匹配任意一个字符 ...
《Linux Shell脚本攻略》读书笔记第四章 让文本飞
weixin_33708432的博客
12-18 94
1、正则表达式正则表达式包括：文字字符，通配符，修饰符，锚点。正则表达式字符类（POSIX)：表达式字符类ASCII中的对应域[:alnum:]字母数字混排A-Za-z0-9[:alpha:]字母字符A-Za-z[:blank:]空格符或者制表符[:digit:]数字0-9[:lower:]小写字母a-z[:punct:]可打印字符，不包括空格和字母数字混排字符[:space...
Linux_Shell脚本学习第四章-让文本飞(下)
qq_36521904的博客
10-08 263
一、按列合并多个文件 1.1 paste $ paste file1 file2 file3 ... 例： $ cat file1.txt 1 2 3 4 5 $ cat file2.txt slynux gnu bash hack $ paste file1.txt file2.txt 1 slynux 2 gnu 3 bash 4 hack 5 默认的分隔符是制表符，也可以用-d指定分隔符...
HackerRank-The-Linux-Shell-Challenges-Solutions:Linux Shell的完整解决方案和相关教程-Bash，文本处理，Bash中的数组，Grep Sed Awk在HackerRank上的挑战
05-10
描述通过针对HackerRank上Linux Shell挑战的相关学习资源，汇编了所有容易，中等和困难挑战的解决方案。 域包括：重击挑战数字挑战性解决方案1个2个3解决方案4 用数字循环解决方案5 数字世界解决方案6 比较数字解决...
Shell、awk、sed面试题汇总（无答案）.doc
07-07
Shell、awk、sed 面试题汇总 以下是从给定的文件中生成的相关知识点： Shell 1. 变量赋值：在 Shell 中，可以使用多种方法来赋值变量，包括直接赋值、使用 `read` 命令、使用命令行参数和使用命令的输出。 2. ...
Linux shell脚本 精华中文版
06-14
011_合并与分割_sort_join_uniq_cut_paste_split.pdf 012_tr的用法.pdf 013_登录环境.pdf 014_环境和shell变量.pdf 015_引号.pdf 016_基础shell编程_shell脚本介绍.pdf 017_条件测试_test_expr.pdf 018_控制...
史上最全的 Linux Shell 文本处理工具集锦.doc
11-03
本文将深入讲解一些最常用的Shell工具，包括find、grep、xargs、sort、uniq、tr、cut、paste、wc、sed和awk，以及如何利用它们来处理文本。 ### 01 find - 文件查找 `find`命令用于在文件系统中查找符合特定条件的...
shell中常见命令与awk,sed的等价命令
02-23
### shell中常见命令与awk, sed的等价命令详解 #### 一、基本概念与工具简介 在Linux或Unix环境中，shell脚本是自动化任务处理的重要手段之一。shell提供了丰富的命令来实现各种功能，而`awk`和`sede`则是其中两个...
linux shell第四章,Linux Shell 脚本攻略 ---- 第四章 让文本飞
weixin_42515380的博客
05-13 75
4.1 正则表达式入门1 正则表达式是基于样式匹配的文本处理技术的关键所在2 正则表达式是用于绝大多数文本处理工具的一种语言3 正则表达式的基本组成部分正则表达式 描述^ 行起始标记$ 行尾标记. 匹配任意一个字符[] 匹配包含在[]之中的任意一个字符[^] 匹配除了[]之外的任意一个字符[-] 匹配[]中指定范围内的任意一个字符? 匹配之前的项1次或0次+ 匹配之前的项1次或多次* 匹配之前的项...
Linuxshell脚本攻略第四章总结----让文本飞
zhenlq的专栏
04-09 281
1、正则表达式 1.1、匹配单词：( ?[a-zA-Z]+ ?)        匹配ip地址:[0-9]+\.[0-9]+\.[0-9]+\.[0-9]+ 1.2、正则表达式常用： ^                           行起始标记                                    ------- ^tux匹配以tux起始的行 $
shell数组目录遍寻循环输出
weixin_34296641的博客
08-21 942
linux shell编程控制结构：expr、let、for、while、until、shift、if、case、break、continue、函数、select 学习笔记分类： linux2013-06-05 15:49 223人阅读 评论(0) 收藏 举报LinuxSHELL编程一UNIX和Shell工具简介什么是shell？ shell只是一个程序，它在系统中没有特权。因此，有多个不同风格s...
shell 循环_shell 循环简化你又臭又长的命令
weixin_39949297的博客
11-22 282
今天在看到自己以前写的脚本，实在看不过去了，就花了点时间调整了一下。以前的脚本。一开始的脚本是这样的。又臭又长（别不信，看下面）。真的是复制粘贴修改→又复制粘贴修改 → 又又复制粘贴修改（这句话就是刚刚 copy 的）#meth_heatmap.pl ######################################### # CG_cov_0_sorted.tsv # Chr1 ...
shell 命令——paste用法
赶路人儿
03-23 1万+
p a s t e格式为： paste -d -s -file1 file2 选项含义如下： -d 指定不同于空格或t a b键的域分隔符。例如用@分隔域，使用- d @。 -s 将每个文件合并成行而不是按行粘贴。（行列转置会用到） - 使用标准输入。按照指定的列格式输出 实例1： # cat a a b c d # cat b 1 2 3 4 5 6 7 # paste a b
sed选项详解(options)
weixin_30588675的博客
06-29 166
几天时间把 sed and awk 101hacks 的sed部分看完了，觉得功能甚是强大，在这里记录下sed的一些参数说明 sed [options] {sed-commands} {input-file} 主要Options 有：n , i , c, f, e, l, h, V 详解： -n: 不输出原文件，只输出命令执行后的结果（The sed opt...
【shell】paste用法
热门推荐
sunxinhere的专栏
08-31 1万+
p a s t e格式为： paste -d -s -file1 file2 选项含义如下： -d 指定不同于空格或t a b键的域分隔符。例如用@分隔域，使用- d @。 -s 将每个文件合并成行而不是按行粘贴。 - 使用标准输入。例如ls -l |paste ，意即只在一列上显示输出 [root@localhost my_shell]# cat per1 ID897 ID666 I
Linux_Shell脚本学习第四章-让文本飞(上)
qq_36521904的博客
10-08 629
一、使用正则表达式 1.1 正则表达式的规则 1.1.1 位置标记 **位置标记锚点（position marker anchor）是标识字符串位置的正则表达式。**默认情况下，正 则表达式所匹配的字符可以出现在字符串中任何位置，如下图。 1.1.2 标识符 标识符是正则表达式的基础组成部分。它定义了那些为了匹配正则表达式，必须存在（或不 存在）的字符，如下图。 1.1.3 数量修饰符 一个标...
sed基本使用
weixin_34226182的博客
09-15 68
sed [options]sed-commands input-fileoptions：-n: 静默模式，不输出模式空间中的内容-e script–e script: 指定多个脚本命令-f script_file: 指定脚本文件-i:　直接编辑原文件-r: 使用扩展的正则表达式sed-commands：d: 删除p: 打印i \text: 在模式匹配行的前面插入a \t...
Linux命令大全：awk、sed、grep及文本处理工具解析
"这篇文档详细介绍了Linux系统的几个关键命令，包括文本处理工具awk、sed、grep，以及sort、uniq、cut、paste、join、split、diff等工具的使用方法，并涉及正则表达式和文本级数据处理编程语言awk的基础知识。...
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值