linux常用文本处理命令笔记整理

linux常用文本处理的命令的使用率很高, 所以整理了一些之前的笔记,用markdown来记录备忘。
首先抛出问题, 带着问题来学记忆知识更有动力:

  • 如何通过一条命令取得eth0的IP4地址 :
    ifconfig eth0 | grep -w 'inet' | awk '{print $2}' | awk -F: '{print $2}'
  • 如何通过一条命令替换当前路径下所有文件中的所有“xxx”为“yyy“ :
    ls -alF | grep '^-' | xargs sed -i 's/xxx/yyy/g'
  • 如何通过一条命令杀掉占用端口34600的进程 :
    sudo lsof -i:34600 | grep -v 'PID' | awk '{print $2}' | xargs kill -9

grep

grep(global search regular expression(RE) and print out the line,全面搜索正则表达式并把行打印出来)是一种强大的文本搜索工具,它能使用正则表达式搜索文本,并把匹配的行打印出来。

  • -a 不要忽略二进制数据。
  • -A<显示列数> 除了显示符合范本样式的那一行之外,并显示该行之后的内容。
  • -b 在显示符合范本样式的那一行之外,并显示该行之前的内容。
  • -c 计算符合范本样式的列数。
  • -C<显示列数>或-<显示列数> 除了显示符合范本样式的那一列之外,并显示该列之前后的内容。
  • -d<进行动作> 当指定要查找的是目录而非文件时,必须使用这项参数,否则grep命令将回报信息并停止动作。
  • -e<范本样式> 指定字符串作为查找文件内容的范本样式。
  • -E 将范本样式为延伸的普通表示法来使用,意味着使用能使用扩展正则表达式。
  • -f<范本文件> 指定范本文件,其内容有一个或多个范本样式,让grep查找符合范本条件的文件内容,格式为每一列的范本样式。
  • -F 将范本样式视为固定字符串的列表。
  • -G 将范本样式视为普通的表示法来使用。
  • -h 在显示符合范本样式的那一列之前,不标示该列所属的文件名称。
  • -H 在显示符合范本样式的那一列之前,标示该列的文件名称。
  • -i 胡列字符大小写的差别。(常用
  • -l 列出文件内容符合指定的范本样式的文件名称。
  • -L 列出文件内容不符合指定的范本样式的文件名称。
  • -n 在显示符合范本样式的那一列之前,标示出该列的编号。
  • -q 不显示任何信息。
  • -R/-r 此参数的效果和指定“-d recurse”参数相同。
  • -s 不显示错误信息。
  • -v 反转查找。(常用
  • -w 只显示全字符合的列。(常用
  • -x 只显示全列符合的列。
  • -y 此参数效果跟“-i”相同。
  • -o 只输出文件中匹配到的部分。

awk

awk是一种编程语言,用于在linux/unix下对文本和数据进行处理。数据可以来自标准输入(stdin)、一个或多个文件,或其它命令的输出。它支持用户自定义函数和动态正则表达式等先进功能,是linux/unix下的一个强大编程工具。它在命令行中使用,但更多是作为脚本来使用。awk有很多内建的功能,比如数组、函数等,这是它和C语言的相同之处,灵活性是awk最大的优势。

常用命令选项

  • -F fs fs指定输入分隔符(awk默认的分隔符是空格),fs可以是字符串或正则表达式,如-F:
  • -v var=value 赋值一个用户定义变量,将外部变量传递给awk

常用用法

b@b-VirtualBox:~/my_temp_test/abc$ cat abc3
klj;k uu
&& ss&
b@b-VirtualBox:~/my_temp_test/abc$ cat abc3 | awk '{print $NF}'
uu
ss&

cat abc3 | awk ‘{print $NF}’的含义是:输出abc3文件的每一行的最后一列

b@b-VirtualBox:~/my_temp_test/abc$ cat abc3 | grep k | awk -F\; '{print $1}'
klj

cat abc3 | grep k | awk -F\; ‘{print $1}’的含义是:
先输入含有k的那一行(即klj;k), 然后对那一行以;(\;, 这个分号需要转义)分隔,打印出分隔后的第一列(即klj)

sed

sed是一种流编辑器,它是文本处理中非常中的工具,能够完美的配合正则表达式使用,功能不同凡响。处理时,把当前处理的行存储在临时缓冲区中,称为“模式空间”(pattern space),接着用sed命令处理缓冲区中的内容,处理完成后,把缓冲区的内容送往屏幕。接着处理下一行,这样不断重复,直到文件末尾。文件内容并没有 改变,除非你使用重定向存储输出。Sed主要用来自动编辑一个或多个文件;简化对文件的反复操作;编写转换程序等。

sed命令

  • a\ 在当前行下面插入文本。
  • i\ 在当前行上面插入文本。
  • c\ 把选定的行改为新的文本。
  • d 删除,删除选择的行。
  • D 删除模板块的第一行。
  • s 替换指定字符 h 拷贝模板块的内容到内存中的缓冲区。
  • H 追加模板块的内容到内存中的缓冲区。
  • g 获得内存缓冲区的内容,并替代当前模板块中的文本。
  • G 获得内存缓冲区的内容,并追加到当前模板块文本的后面。
  • l 列表不能打印字符的清单。
  • n 读取下一个输入行,用下一个命令处理新的行而不是用第一个命令。
  • N 追加下一个输入行到模板块后面并在二者间嵌入一个新行,改变当前行号码。
  • p 打印模板块的行。
  • P(大写) 打印模板块的第一行。
  • q 退出Sed。
  • b lable 分支到脚本中带有标记的地方,如果分支不存在则分支到脚本的末尾。
  • r file 从file中读行。
  • t label if分支,从最后一行开始,条件一旦满足或者T,t命令,将导致分支到带有标号的命令处,或者到脚本的末尾。
  • T label 错误分支,从最后一行开始,一旦发生错误或者T,t命令,将导致分支到带有标号的命令处,或者到脚本的末尾。
  • w file 写并追加模板块到file末尾。
  • W file 写并追加模板块的第一行到file末尾。
  • ! 表示后面的命令对所有没有被选定的行发生作用。
  • = 打印当前行号码。
  • # 把注释扩展到下一个换行符以前。

sed替换标记

  • g 表示行内全面替换。
  • p 表示打印行。
  • w 表示把行写入一个文件。
  • x 表示互换模板块中的文本和缓冲区中的文本。
  • y 表示把一个字符翻译为另外的字符(但是不用于正则表达式) \1 子串匹配标记 & 已匹配字符串标记

sed元字符集

  • ^ 匹配行开始,如:/^sed/匹配所有以sed开头的行。
  • /sed /匹配所有以sed结尾的行。
  • . 匹配一个非换行符的任意字符,如:/s.d/匹配s后接一个任意字符,最后是d。
  • * 匹配0个或多个字符,如:/*sed/匹配所有模板是一个或多个空格后紧跟sed的行。
  • [] 匹配一个指定范围内的字符,如/[ss]ed/匹配sed和Sed。
  • [^] 匹配一个不在指定范围内的字符,如:/[^A-RT-Z]ed/匹配不包含A-R和T-Z的一个字母开头,紧跟ed的行。
  • (..) 匹配子串,保存匹配的字符,如s/(love)able/\1rs,loveable被替换成lovers。
  • & 保存搜索字符用来替换其他字符,如s/love/&/,love这成love
  • \< 匹配单词的开始,如:/\ 匹配单词的结束,如/love>/匹配包含以love结尾的单词的行。
  • x{m} 重复字符x,m次,如:/0{5}/匹配包含5个0的行。
  • x{m,} 重复字符x,至少m次,如:/0{5,}/匹配至少有5个0的行。
  • x{m,n} 重复字符x,至少m次,不多于n次,如:/0{5,10}/匹配5~10个0的行。

直接编辑文件选项-i,否则并不会修改源文件

sed常用用法1:增

b@b-VirtualBox:~/my_temp_test/abc$ cat abc3
&& gg&
b@b-VirtualBox:~/my_temp_test/abc$ sed -i '/gg/a\hello, my friend' abc3
b@b-VirtualBox:~/my_temp_test/abc$ cat abc3
&& gg&
hello, my friend

sed -i ‘/gg/a\hello, my friend’ abc3的含义是:
在abc3文件中的“gg”字符串的下一行插入“hello, my friend”

sed常用用法2:删

b@b-VirtualBox:~/my_temp_test/abc$ cat abc3
&& gg&
hello, my friend
b@b-VirtualBox:~/my_temp_test/abc$ sed -i '/gg/d' abc3
b@b-VirtualBox:~/my_temp_test/abc$ cat abc3
hello, my friend

sed -i ‘/gg/d’ abc3的含义是:
将abc3文件中所有包含的“gg”字符串的行删除

sed常用用法3:改

b@b-VirtualBox:~/my_temp_test/abc$ cat abc3
hello, my friend
b@b-VirtualBox:~/my_temp_test/abc$ sed -i 's/hello/welcome/g' abc3
b@b-VirtualBox:~/my_temp_test/abc$ cat abc3
welcome, my friend

sed -i ‘s/hello/welcome/g’ abc3的含义是:
将abc3文件中所有包含的“gg”字符串都修改为“welcome”

  • 0
    点赞
  • 0
    收藏
    觉得还不错? 一键收藏
  • 0
    评论

“相关推荐”对你有帮助么?

  • 非常没帮助
  • 没帮助
  • 一般
  • 有帮助
  • 非常有帮助
提交
评论
添加红包

请填写红包祝福语或标题

红包个数最小为10个

红包金额最低5元

当前余额3.43前往充值 >
需支付:10.00
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明:

1.余额是钱包充值的虚拟货币,按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载,可以购买VIP、付费专栏及课程。

余额充值