Linux命令三剑客

grep

Linux系统中grep命令是一种强大的文本搜索工具，它能使用正则表达式搜索文本，并把匹 配的行打印出来。grep全称是Global Regular Expression Print，表示全局正则表达式版本，它的使用权限是所有用户。

格式：
grep [OPTIONS] PATTERN [FILE...]
grep [OPTIONS] [-e PATTERN]  [FILE...]
参数：
-c    --count   #计算符合样式的列数
-l    --file-with-matches   #列出文件内容符合指定的样式的文件名称。 
-v   --revert-match   #显示不包含匹配文本的所有行。
-i    --ignore-case   #忽略字符大小写的差别。
-o   # 只显示匹配到的关键字
-n  # 现实行号

-E    使用正则表达式

初识正则表达式
^ : 匹配开头
$ : 匹配结尾
[] ： 范围匹配
[a-z] : 匹配有小写字母
[A-Z] : 匹配所有大写字母
[0-9] : 匹配所有数字
. ： 匹配单个字符
* ： 表示*前面的内容出现0次或多次
+ ： 表示+前面的内容出现1次或多次
? ： 表示？前面的内容出现0次或1次

cat a.txt |grep hat$ # 匹配以hat结尾的行
cat a.txt |grep ^hat # 匹配以hat开头的行
cat a.txt | grep -E "[0-9]*"  # 匹配有0到多个数字的行
cat a.txt | grep -E "[0-9]+"  # 匹配有至少有1个数字的行
cat a.txt | grep -E "[0-9]？"  # 匹配有0到1个数字的行

sed

sed是一种流编编器，它是文本处理中非常中的工具，能够完美的配合正则表达式便用，功能不同凡响。

处理时，把当前处理的行存储在临时缓冲区中，称为”模式空间”（ oattern space），接看用sed命令处理缓冲区中的内容，处理成后，把缓冲区的内容送往屏幕显示。

接着处理下一行，这样不断重复，直到文件末。文件内容没有改改变，除非使用了写入的命令，将内容更新。

定址用于决定对哪些行进行编辑。地址的形式可以是数字、正则表达式、或二者的结合。如果没有指定地址，sed将处理输入文件的所有行。

sed : 一次处理一行内容

sed [-nefr] [动作] [文件]
选项与参数：
-n ：使用安静(silent)模式。在一般 sed 的用法中，所有来自 STDIN 的数据一般都会被列出到终端上。但如果加上 -n 参数后，则只有经过sed 特殊处理的那一行(或者动作)才会被列出来
-e ：直接在命令列模式上进行 sed 的动作编辑
-f ：直接将 sed 的动作写在一个文件内， -f filename 则可以运行 filename 内的 sed 动作
-r ：sed 的动作支持的是延伸型正规表示法的语法。(默认是基础正规表示法语法)
-i ：直接修改读取的文件内容，而不是输出到终端。

动作说明： [n1[,n2]] 动作：
n1, n2 ：不一定存在，一般代表选择进行动作的行数，比如，如果我的动作是需要在 10 到 20 行之间进行的，则10,20[动作行为]

动作：
#a ：新增， a 的后面可以接字串，而这些字串会在新的一行出现(目前的下一行)
#c ：取代， c 的后面可以接字串，这些字串可以取代 n1,n2 之间的行！
#d ：删除，因为是删除啊，所以 d 后面通常不接任何咚咚；
    sed  "3d"  file  #  删除第三行
    sed  "1,3d"  # 删除前三行
    sed  "1d;3d;5d"  # 删除1、3、5行
    sed  "/^$/d" #删除空行   
    sed  "/abc/d" #删除所有含有abc的行
    sed  "/abc/，/def/d" #删除abc 和 def 之间的行，包括其自身
    sed  "1，/def/d" #删除第一行到 def 之间的行，包括其自身
    sed  "/abc/，+3d " # 删除含有abc的行之后，在删除3行
    sed  "/abc/，～3d" #从含有abc的行开始，共删除3行
    sed  "1~2d"  # 从第1行开始，每2行删除一行， 删除奇数行
    sed  "2~2d"  # 从第2行开始，每2行删除一行， 删除奇数行
    sed  "$d"  # 删除最后一行
    sed  "/dd\|cc/d"  删除有dd或者cc的行
    
#i ：插入， i 的后面可以接字串，而这些字串会在新的一行出现(目前的上一行)；
#p ：列印，亦即将某个选择的数据印出。通常 p 会与参数 sed -n 一起运行
    sed -n  "3p"  file  #  显示第三行
    sed -n  "1,3p"  # 显示前三行
    sed -n  "2,+3p"  # 显示第二行，及后面的三行
    sed -n  "$p"  # 显示最后一行
    sed -n "1p;3p;5p"  # 只显示文件1、3、5行
    sed -n  "$="  # 显示文件行数
#s ：替换，可以直接进行取代的工作。通常这个 s 的动作可以搭配正规表示法，例如 1,20s/old/new/g
    's/old/new/g'  
    
    sed  "s/\(all\)/bb/"
    sed -r "s/(all)/bb/"

awk 

一个强大的文本分析工具，相对于grep的查找，sed的编辑，awk在其对数据分析并生成报告时，显得尤为强大。简单来说awk就是把文件逐行的读入，以空格为默认分隔符将每行切片，切开的部分再进行各种分析处理

# 命令行调用方式
awk [-F  field-separator]  'commands'  input-file(s)

#  commands 是真正awk命令，[-F域分隔符]是可选的。 input-file(s) 是待处理的文件。    在awk中，文件的每一行中，由域分隔符分开的每一项称为一个域。通常，在不指名-F域分隔符的情况下，默认的域分隔符是空格。

# awk工作流程：
# 读入有'\n'换行符分割的一条记录，然后将记录按指定的域分隔符划分域，填充域，$0则表示所有域,$1表示第一个域,$n表示第n个域。默认域分隔符是"空白键" 或 "[tab]键",所以$1表示登录用户，$3表示登录用户ip,以此类推。

cat /etc/passwd |awk  -F ':'  '{print $1}'  
cat /etc/passwd |awk  -F ':'  '{print $1"\t"$7}'

awk 常用内置变量
ARGC               命令行参数个数
ARGV               命令行参数排列， ARGV[0] ARGV[1]
ENVIRON            支持队列中系统环境变量的使用
FILENAME           awk浏览的文件名
FNR                浏览文件的记录数
FS                 设置输入域分隔符，等价于命令行 -F选项
NF                 浏览记录的域的个数
NR                 已读的记录数
OFS                输出域分隔符
ORS                输出记录分隔符
RS                 控制记录分隔符

# 统计/etc/passwd:文件名，每行的行号，每行的列数，对应的完整行内容:
#awk  -F ':'  '{print "filename:" FILENAME ",linenumber:" NR ",columns:" NF ",linecontent:"$0}' /etc/passwd

# 使用printf替代print,可以让代码更加简洁，易读
awk  -F ':'  '{printf("filename:%10s,linenumber:%s,columns:%s,linecontent:%s\n",FILENAME,NR,NF,$0)}' /etc/passwd

调用awk

有三种方式调用awk

1 2 3 4 5 6 7 8 9 10 11 12 13

1.命令行方式 awk [-F  field-separator]  'commands'  input-file(s) 其中，commands 是真正awk命令，[-F域分隔符]是可选的。 input-file(s) 是待处理的文件。 在awk中，文件的每一行中，由域分隔符分开的每一项称为一个域。通常，在不指名-F域分隔符的情况下，默认的域分隔符是空格。   2.shell脚本方式 将所有的awk命令插入一个文件，并使awk程序可执行，然后awk命令解释器作为脚本的首行，一遍通过键入脚本名称来调用。 相当于shell脚本首行的：#!/bin/sh 可以换成：#!/bin/awk   3.将所有的awk命令插入一个单独文件，然后调用： awk -f awk-script-file input-file(s) 其中，-f选项加载awk-script-file中的awk脚本，input-file(s)跟上面的是一样的。