Linux三大剑客小结

基本正则表达式：BRE(Base  REGEXP )
扩展正则表达式：ERE(Extended  REGEXP)

linux中最为常用的三大文本（awk，sed，grep）处理工具之一，掌握好其用法是很有必要的.　Linux三剑客：
（1）grep：适合单纯的查找和匹配文本。
（2）sed：适合编辑匹配到的文本。
（3）awk：适合格式化文本，对文本进行较复杂的格式处理。

GREP一族：文本搜索工具
grep家族总共有三个：
Grep：支持使用基本正则表达式
Egrep：支持使用扩展正则表达式，=grep-E
Fgrep:不支持使用正则表达式，=grep-F
#fgrep不需要加载正则表达式引擎，因此速度较快，fgrep的搜索效率在当文件达到几亿行时就能体现出来
语法：grep  [选项]  ”模式“  [文件]
 --color=auto：对匹配到的文本着色后高亮显示；
    -d：当指定要查找的是目录而非文件时，必须使用这项参数，否则grep指令将回报信息并停止动作。
    -i：ignorecase，忽略字符的大小写；
    -o：仅显示匹配到的字符串本身；
    -v,–invert-match：反向匹配；
    -E：支持使用扩展的正则表达式元字符；
    -q,–quiet, --silent：静默模式，即不输出任何信息；
    -r或–recursive   -d的(指定查找的是目录下而非文件时)递归查找；
    -A#：after, 后#行
    -B#：before，前#行
    -C#：context，前后各#行

实例：
1.寻找当前目录中，查找后缀有txt字样中包含reehat的文件，并打印出来
$gerp “要找的字符串”文件名
$grep txt redhat*

2.以递归的方式查找符合条件的文件。
查找指定目录/etc/ceshi及其子目录下所有包含字符串 “MDZZ”的文件
Grep -r MDZZ /etc/ceshi
3.反向查找
Grep -v txt redhat
4.系统某天的报警信息输出
Grep-n ‘2020-05-27 20.10.40’ *.log
5.从文件内容查找与正则表达式匹配的行：
$ grep –e “正则表达式” 文件名

Linux sed 命令是用脚本来处理文本文件。
sed 可依照脚本的指令来处理、编辑文本文件。
Sed 主要用来自动编辑一个或多个文件、简化对文件的反复操作、编写转换程序等。
参数：
-e

a\  在当前行后添加一行或多行。多行时除最后一行外，每行末尾需用“\”续行
 c\  用此符号后的新文本替换当前行中的文本。多行时除最后一行外，每行末尾需用"“续行
 i\  在当前行之前插入文本。多行时除最后一行外，每行末尾需用”"续行
 d  删除行
 h  把模式空间里的内容复制到暂存缓冲区
 H  把模式空间里的内容追加到暂存缓冲区
 g  把暂存缓冲区里的内容复制到模式空间，覆盖原有的内容
 G  把暂存缓冲区的内容追加到模式空间里，追加在原有内容的后面
 l  列出非打印字符
 p  打印行
 n  读入下一输入行，并从下一条命令而不是第一条命令开始对其的处理
 q  结束或退出sed
 r  从文件中读取输入行
 !  对所选行以外的所有行应用命令
 s  用一个字符串替换另一个
 g  在行内进行全局替换
 
 w  将所选的行写入文件
 x  交换暂存缓冲区与模式空间的内容
 y  将字符替换为另一字符（不能对正则表达式使用y命令）
案例
1.sed ‘1,2d’ test.xx
删除第一行，第二行
2.sed ‘/2/d’ test.txt
删除所有包含2的行
3.sed ‘1a hello world’ test.txt
第一行的后面添加一行hello world
4.sed ‘1c hello world’ test.txt
将第一行的内容替换为hello world
5.nl /etc/passwd | sed ‘/root/p’
搜索 /etc/passwd有root关键字的行
6.删除/etc/passwd所有包含root的行，其他行输出
nl /etc/passwd | sed ‘/root/d’
7.利用 sed 将 regular_express.txt 内每一行结尾若为 . 则换成 !
sed -i ‘s/.KaTeX parse error: Expected 'EOF', got '#' at position 68: …ess.txt 最后一行加入 #̲ This is a test…a # This is a test’ regular_express.txt
($ 代表的是最后一行)

awk是一种编程语言，用于在linux/unix下对文本和数据进行处理。数据可以来自标准输入、一个或多个文件，或其它命令的输出。它支持用户自定义函数和动态正则表达式等先进功能，是linux/unix下的一个强大编程工具。它在命令行中使用，但更多是作为脚本来使用。

两种语法形式
awk [options] ‘script’ var=value file(s)
awk [options] -f scriptfile var=value file(s)

-F fs or --field-separator fs
指定输入文件折分隔符，fs是一个字符串或者是一个正则表达式，如-F:。
-v var=value or --asign var=value
赋值一个用户定义变量。
-f scripfile or --file scriptfile
从脚本文件中读取awk命令。
-mf nnn and -mr nnn
对nnn值设置内在限制，-mf选项限制分配给nnn的最大块数目；-mr选项限制记录的最大数目。这两个功能是Bell实验室版awk的扩展功能，在标准awk中不适用。
-W compact or --compat, -W traditional or --traditional
在兼容模式下运行awk。所以gawk的行为和标准的awk完全一样，所有的awk扩展都被忽略。
-W copyleft or --copyleft, -W copyright or --copyright
打印简短的版权信息。
-W help or --help, -W usage or --usage
打印全部awk选项和每个选项的简短说明。
-W lint or --lint
打印不能向传统unix平台移植的结构的警告。
-W lint-old or --lint-old
打印关于不能向传统unix平台移植的结构的警告。
-W posix
打开兼容模式。但有以下限制，不识别：/x、函数关键字、func、换码序列以及当fs是一个空格时，将新行作为一个域分隔符；操作符和=不能代替^和=；fflush无效。
-W re-interval or --re-inerval
允许间隔正则表达式的使用，参考(grep中的Posix字符类)，如括号表达式[[:alpha:]]。
-W source program-text or --source program-text
使用program-text作为源代码，可与-f命令混用。
-W version or --version
打印bug报告信息的版本。

$0表示显示整行，$NF表示当前行分割后的最后一列（$0和$NF均为内置变量）注意，$NF和NF要表达的意思是不一样的，对于awk来说，$NF表示最后一个字段，NF表示当前行被分隔符切开以后，一共有几个字段。也就是说，假如一行文本被空格分成了7段，那么NF的值就是7，$NF的值就是$7,  而$7表示当前行的第7个字段，也就是最后一列，那么每行的倒数第二列可以写为$(NF-1)。

案例：
1.print和printf功能
Awk ‘{print}’ ceshi_awk.txt
2.输出第一列的信息
df | awk ‘{print $1}’
3.打印test_awk.txt文件中第1列和第2列的内容。
awk ‘{print $1,$2}’ test_awk.txt　　
4.表示将文本中最后一列打印出来
awk ‘{print $NF}’ test_awk.txt　　
6.表示将文本中倒数第二列的内容打印出来
awk ‘{print $(NF-1)}’ test_awk.txt
7.表示将文本中的所有内容打印出来
awk ‘{print $0}’ test_awk.txt=awk ‘{print}’ test_awk.txt
 
8.自己添加字段，并与文件中的内容拼接
awk ‘{print $1,$2,“MDZZ”}’ test_awk.txt
 awk ‘{print $1,$2,DMXY}’ test_awk.txt
Linux find命令用来在指定目录下查找文件。任何位于参数之前的字符串都将被视为欲查找的目录名。如果使用该命令时，不设置任何参数，则find命令将在当前目录下查找子目录与文件。并且将查找到的子目录和文件全部进行显示。
参数说明:

-amin n :在过去n分钟内被读取过

-anewer file :比文件file更晚被读取过的文件

-atime n :在过去n天内被读取过的文件

-cmin n :在过去n分钟内被修改过

-cnewer file :比文件file更新的文件

-ctime n :在过去n天内被修改过的文件
FIND命令总结
1.基于name查询文件

find -name"MyCProgram.c"

2.用文件名查找文件，忽略大小写

find -iname"MyCProgram.c"

3.相反匹配
显示所有的名字不是MyCProgram.c的文件或者目录。由于maxdepth是1，所以只会显示当前目录下的文件和目录。 
find -maxdepth 1-not -iname “MyCProgram.c”
4.使用inode编号查找文件
find -inum 16187430-exec mv {} new-test-file-name ;
5.根据文件权限查找文件
找到具有组读权限的文件。使用下面的命令来找到当前目录下对同组用户具有读权限的文件，忽略该文件的其他权限。
find . -perm -g=r-type f -exec ls -l {} ;
找到对组用户具有只读权限的文件。
find . -perm g=r-type f -exec ls -l {} ;
6.查找5个最大的文件
find . -type f -execls -s {} ; | sort -n -r | head -5
7.查找5个最小的文件
find . -type f -execls -s {} ; | sort -n  | head -5
8. 使用-type查找指定文件类型的文件
find . -type d
 通过文件大小查找文件
查找比指定文件大的文件
find ~ -size +100M
查找比指定文件小的文件
find ~ -size -100M
查找符合给定大小的文件 
find ~ -size 100M
10.最近一次修改时间在1个小时（60分钟）之内的文件或目录

find . -amin -60

找到24小时（1天）内被访问了的文件（文件系统根目录 / 下）

find / -atime -1

11.最近一次访问时间在1个小时（60分钟）之内的文件或目录

find . -amin -60

会找到24小时（1天）内被访问了的文件（文件系统根目录 / 下）

find / -atime -1

正则表达式
基本符号：
^  表示匹配字符串的开始位置  (例外  用在中括号中[ ] 时,可以理解为取反,表示不匹配括号中字符串)
$  表示匹配字符串的结束位置

• 表示匹配 零次到多次

• 表示匹配 一次到多次 (至少有一次)
  ?  表示匹配零次或一次
  .  表示匹配单个字符 
  |  表示为或者,两项中取一项
  (  ) 小括号表示匹配括号中全部字符
  [  ] 中括号表示匹配括号中一个字符 范围描述 如[0-9 a-z A-Z]
  {  } 大括号用于限定匹配次数  如 {n}表示匹配n个字符  {n,}表示至少匹配n个字符  {n,m}表示至少n,最多m
  \  转义字符 如上基本符号匹配都需要转义字符   如 *  表示匹配*号
  \w 表示英文字母和数字  \W  非字母和数字
  \d  表示数字   \D  非数字
  案例参考<<UNIX/SHELL范例精解第四版>>