shell--正则表达式入门、文本处理工具

正则表达式入门

概述

正则表达式使用单个字符串来描述、匹配一系列符合某个语法规则的字符串。在很多文本编辑器里，正则表达式通常被用来检索、替换那些符合某个模式的文本。在 Linux 中，grep，sed，awk 等文本处理工具都支持通过正则表达式进行模式匹配。

常规匹配

//一串不包含特殊字符发正则表达式匹配它自己 例如一下，就会匹配到所有包含root的行
[root@VM-16-14-centos etc]# cat /etc/passwd | grep root
root:x:0:0:root:/root:/bin/bash
operator:x:11:0:operator:/root:/sbin/nologin

常用特殊字符

1. 特殊字符：^
   ^ 匹配一行的开头,例如
   

2. 特殊字符：$
   $ 匹配一行的结束，例如
   

3. 特殊字符：*
   不能单独使用，他和上一个字符连用，表示匹配一个字符0次或多次，例如
   
   会匹配 rt, rot, root, rooot, roooot 等所有行.

4. 特殊字符：.
   == . ==匹配一个任意的字符
   
   .* 匹配到的结果
   

5. 字符区间（中括号）：||

• [ ] :表示匹配某个范围内的一个字符，例如
  [6,8] ------- 匹配6或者8
  [0-9] ------- 匹配一个0-9的数字
  [0-9]* ------- 匹配任意长度的数字字符串
  [a-z] ------- 匹配一个a-z之间的字符
  [a-z]* ------- 匹配任意长度的字母字符串
  [a-c,c-f] ------- 匹配a-c或者c-f之间的任意字符

  
  6. 特殊字符:
  \ 表示转义，并不会单独使用。由于所有特殊字符都有其特定的匹配模式，当我们想匹配某一特殊字符本身时（例如想找出包含‘$’的行），就会碰到困难。我们就要将转义字符和特殊字符连用，来表示特殊字符本身。例如：
  
  会匹配到所有包含 /: 的行，注意需要使用单引号将表达式引起来。

文本处理工具

cut

概述:cut的工作就是‘剪’，具体的说就是在文件中负责剪切数据用的，cut命令从文件的每一行剪切字节、字符和字段将这些字节、字符和字段输出。

• 基本用法
  cut [选项参数] filename
  说明：默认分隔符是制表符
• 选项参数说明
  -f ：列号，提前第几列
  -d ：分隔符，按照指定分隔符分割列，默认是制表符“\t”
  -c ：按字符进行切割，后加加n表示取第几列；比如-c 1
• 操作
  • 项目数据准备

[root@VM-16-14-centos scripts]# touch cut.txt
[root@VM-16-14-centos scripts]# vim cut.txt

I love you
I miss you

• 切割cut.txt 第一列

[root@VM-16-14-centos scripts]# cut -d " " -f 1 cut cut.txt 
cut: cut: No such file or directory
I
I

• 切割cut.txt第二列和第三列

[root@VM-16-14-centos scripts]# cut -d " " -f 2,3 cut cut.txt 
cut: cut: No such file or directory
love you
miss you

• 在cut.txt文件中切割出miss

[root@VM-16-14-centos scripts]# cat cut.txt | grep miss
I miss you
[root@VM-16-14-centos scripts]# cat cut.txt | grep miss | cut -d " " -f 2
miss

• 选取系统PATH变量值，第二个“：”开始后的所有路径

[root@VM-16-14-centos scripts]# echo $PATH 
/usr/local/sbin:/usr/local/bin:/usr/sbin:/usr/bin:/root/bin
[root@VM-16-14-centos scripts]# echo $PATH | cut -d ":" -f 3-
/usr/sbin:/usr/bin:/root/bin

• 切割ifconfig后打印的IP地址

[root@VM-16-14-centos scripts]# ifconfig eth0 | grep netmask | cut -d " " -f 10
10.0.16.11
[root@VM-16-14-centos scripts]# ifconfig | grep netmask | cut -d " " -f 10
10.0.16.11
127.0.0.1

awk

是一个强大的文本分析工具，把文件逐渐的读入，以空格为默认分隔符将每行切片，切开的部分再进行分析处理。

基本用法

• awk [选项参数] ‘/pattern 1/{action1} /pattern2/{action2}…’ filename
• pettern :表示awk在数据中查找的内容，就是匹配模式
• action：在找到匹配内容是所执行的一系列命令

选项参数说明

• -F：指定输入文件的分隔符
• -v：赋值一个用户定义变量

操作

//搜索passwd文件已root关键字开头的所有行，并输出该行的第七列
[root@VM-16-14-centos etc]# cat /etc/passwd | awk -F ":" '/^root/{print $7}' 
/bin/bash
[root@VM-16-14-centos etc]# cat /etc/passwd |grep ^root | cut -d ":" -f 7
/bin/bash

//搜索 passwd 文件以 root 关键字开头的所有行，并输出该行的第 1 列和第 7 列，中间以“，”号分割。
[root@VM-16-14-centos etc]# cat /etc/passwd | awk -F ":" '/^root/{print $1","$7}' passwd
root,/bin/bash

//只显示/etc/passwd 的以s开头的第一列和第七列，以逗号分割，且在所有行前面添加列名 user，
shell 在最后一行添加"dahaige，/bin/zuishuai"。
[root@VM-16-14-centos etc]# awk -F : 'BEGIN{print "user, shell"} /^s/ {print $1","$7}
END{print "dahaige,/bin/zuishuai"}' passwd
user, shell
sync,/bin/sync
shutdown,/sbin/shutdown
systemd-network,/sbin/nologin
sshd,/sbin/nologin
syslog,/bin/false
dahaige,/bin/zuishuai
注意：BEGIN 在所有数据读取行之前执行；END 在所有数据执行之后执

//将passwd文件中的用户id增加数值1并输出
[root@VM-16-14-centos etc]# awk -v i=1 -F : '{print $3+i}' passwd
1
2
3
4
5
6
7
8
9
12
13
15
100
193
82

awk的内置变量

• FILENAME ：文件名
• NR ：已读的记录数（行号）
• NF ：浏览记录的域的个数（切割后，列的个数）
  操作

//统计 passwd 文件名，每行的行号，每行的列数
[root@VM-16-14-centos etc]# awk -F : '{print "filename:" FILENAME ",linenum:" NR ",col:" NF}' passwd
filename:passwd,linenum:1,col:7
filename:passwd,linenum:2,col:7
filename:passwd,linenum:3,col:7
……
filename:passwd,linenum:29,col:7
filename:passwd,linenum:30,col:7

//查询ifconfig命令输出结果中空行所在的行号
[root@VM-16-14-centos etc]# ifconfig | awk '/^$/{print NR}'
9
18

//切割IP
[root@VM-16-14-centos etc]# ifconfig | awk '/netmask/ {print $2}'
10.0.16.11
127.0.0.1