Linux学习-文本处理三剑客：grep、sed和awk

grep

grep用于分析文件中一行信息，若当中有所需要的信息，就将该行拿出来。

grep [-acinvABCw] [--color=auto] '查找的字符串' filename

• -a: 将二进制文件以文本文件的方式查找数据
• -c: 计算找到“查找字符”的次数
• -i: 忽略大小写
• -n: 查找到匹配行并输出行号
• -v: 反向选择，即找出没有“查找字符”的行
• -w: --word-regexp, 精准匹配，Select only those lines containing matches that form whole words.
• -A: 后面可加数字，为after的意思，除了列出该行外，后续的n行也列出来
• -B: 后面可加数字，为before的意思，除了列出改行外，前面的n行也列出来
• --color=auto: 将正确的那个选取数据列出颜色

[root@localhost log]# cat /etc/passwd
root:x:0:0:root:/root:/bin/bash
bin:x:1:1:bin:/bin:/sbin/nologin
daemon:x:2:2:daemon:/sbin:/sbin/nologin
adm:x:3:4:adm:/var/adm:/sbin/nologin
lp:x:4:7:lp:/var/spool/lpd:/sbin/nologin
sync:x:5:0:sync:/sbin:/bin/sync
shutdown:x:6:0:shutdown:/sbin:/sbin/shutdown
halt:x:7:0:halt:/sbin:/sbin/halt
mail:x:8:12:mail:/var/spool/mail:/sbin/nologin
operator:x:11:0:operator:/root:/sbin/nologin
games:x:12:100:games:/usr/games:/sbin/nologin
ftp:x:14:50:FTP User:/var/ftp:/sbin/nologin
nobody:x:99:99:Nobody:/:/sbin/nologin
systemd-network:x:192:192:systemd Network Management:/:/sbin/nologin
dbus:x:81:81:System message bus:/:/sbin/nologin
polkitd:x:999:998:User for polkitd:/:/sbin/nologin
sshd:x:74:74:Privilege-separated SSH:/var/empty/sshd:/sbin/nologin
postfix:x:89:89::/var/spool/postfix:/sbin/nologin
jiang:x:1000:1000::/home/jiang:/bin/bash
saslauth:x:998:76:Saslauthd user:/run/saslauthd:/sbin/nologin
mysql:x:27:27:MySQL Server:/var/lib/mysql:/bin/false
tss:x:59:59:Account used by the trousers package to sandbox the tcsd daemon:/dev/null:/sbin/nologin
apache:x:48:48:Apache:/usr/share/httpd:/sbin/nologin
tcpdump:x:72:72::/:/sbin/nologin
memcached:x:997:996:Memcached daemon:/run/memcached:/sbin/nologin
vibird1:x:1001:1001::/home/vibird1:/bin/bash
vibird2:x:1003:1000:vibird2's test:/home/vibird2:/bin/bash
myuser1:x:1004:1004:1st user:/home/myuser1:/bin/bash
myuser2:x:1005:1005:2nd user:/home/myuser2:/bin/bash
myuser3:x:1006:1006:3rd user:/home/myuser3:/sbin/nologin

[root@localhost log]# grep -n 'root' /etc/passwd
1:root:x:0:0:root:/root:/bin/bash
10:operator:x:11:0:operator:/root:/sbin/nologin

[root@localhost log]# grep -v "root" /etc/passwd
bin:x:1:1:bin:/bin:/sbin/nologin
daemon:x:2:2:daemon:/sbin:/sbin/nologin
adm:x:3:4:adm:/var/adm:/sbin/nologin
lp:x:4:7:lp:/var/spool/lpd:/sbin/nologin
sync:x:5:0:sync:/sbin:/bin/sync
shutdown:x:6:0:shutdown:/sbin:/sbin/shutdown
halt:x:7:0:halt:/sbin:/sbin/halt
mail:x:8:12:mail:/var/spool/mail:/sbin/nologin
games:x:12:100:games:/usr/games:/sbin/nologin
ftp:x:14:50:FTP User:/var/ftp:/sbin/nologin
nobody:x:99:99:Nobody:/:/sbin/nologin
systemd-network:x:192:192:systemd Network Management:/:/sbin/nologin
dbus:x:81:81:System message bus:/:/sbin/nologin
polkitd:x:999:998:User for polkitd:/:/sbin/nologin
sshd:x:74:74:Privilege-separated SSH:/var/empty/sshd:/sbin/nologin
postfix:x:89:89::/var/spool/postfix:/sbin/nologin
jiang:x:1000:1000::/home/jiang:/bin/bash
saslauth:x:998:76:Saslauthd user:/run/saslauthd:/sbin/nologin
mysql:x:27:27:MySQL Server:/var/lib/mysql:/bin/false
tss:x:59:59:Account used by the trousers package to sandbox the tcsd daemon:/dev/null:/sbin/nologin
apache:x:48:48:Apache:/usr/share/httpd:/sbin/nologin
tcpdump:x:72:72::/:/sbin/nologin
memcached:x:997:996:Memcached daemon:/run/memcached:/sbin/nologin
vibird1:x:1001:1001::/home/vibird1:/bin/bash
vibird2:x:1003:1000:vibird2's test:/home/vibird2:/bin/bash
myuser1:x:1004:1004:1st user:/home/myuser1:/bin/bash
myuser2:x:1005:1005:2nd user:/home/myuser2:/bin/bash
myuser3:x:1006:1006:3rd user:/home/myuser3:/sbin/nologin

[root@localhost log]# grep -in "management" /etc/passwd
14:systemd-network:x:192:192:systemd Network Management:/:/sbin/nologin

[root@localhost log]# grep -w "Management" /etc/passwd
systemd-network:x:192:192:systemd Network Management:/:/sbin/nologin

使用基础正则表达式

• *： 任意字符(0到多个)，代表【重复前一个字符，0到无穷多次】
• .: 代表【一定有一个任意字符】
• ?: 匹配任意一个字符
• [ae]: 里面不论有几个字符，都代表某一个字符
• [a-z]: 小写字母
• [A-Z]：大写字母
• [0-9]: 0-9任一个数字
• ^: 以什么开头
• $: 以什么结尾
• [^]: 中括号内^代表反向选择，代表除中括号内的字符外的任一个字符
• \: 转义字符
• {}: 限定连续RE字符范围，因为{ 与}的符号在shell中有特殊意义，因此，需要使用转义符。

#oo*表示至少1个以上o，o*代表拥有空字符或一个以上的o字符，会把所有数据打印
[root@localhost ~]# grep -n 'oo*' regular_express.txt
1:"Open Source" is a good mechanism to develop programs!
2:apple is my favorite food!
3:Football game is not use feet only!
4:this dress doesn't fit me!
5:Howe