shell正则表达式

sed编辑器

sed是一种流编辑器，流编辑器会在编辑器处理数据之前基于预先提供的一组规则来编辑数据流。
文本处理工具，读取文本内容，根据指定的条件进行处理，如删除、替换、添加等
可在无交互的情况下实现相当复杂的文本处理操作
被广泛应用于shell脚本，以完成自动化处理任务
sed依赖于正则表达式
工作原理
读取-----执行-----显示

sed -e ‘编辑指令’ 文件1 文件2 …
sed -n -e ‘编辑指令’ 文件1 文件2 …
sed -i -e ‘编辑指令’ 文件1 文件2 …



-e 指定要执行的命令，只有一个编辑命令可省略
-n 只输出处理后的行
-i 直接编辑文件，而不输出结果

编辑指令格式：【地址1】【地址2】 操作【参数】
“操作”用于指定对文件操作的动作行为，也就是 sed 的命令。通常情况下是采用的“[n1[,n2]]”操作参数的格式。n1、n2 是可选的，代表选择进行操作的行数，如操作需要在 5～ 20 行之间进行，则表示为“5，20 动作行为”。常见的操作包括以下几种
a：增加，在当前行下面增加一行指定内容。
c：替换，将选定行替换为指定内容。
d：删除，删除选定的行。
i：插入，在选定行上面插入一行指定内容。
p：打印，如果同时指定行，表示打印指定行；如果不指定行，则表示打印所有内容；如果有非打印字符，则以 ASCII 码输出。其通常与“-n”选项一起使用。
s：替换，替换指定字符。
y：字符转换。

示例

删除开头第一个字母

[root@localhost ~]# head /etc/passwd > test.txt   
[root@localhost ~]# sed  's/^.//' test.txt
oot:x:0:0:root:/root:/bin/bash
in:x:1:1:bin:/bin:/sbin/nologin
aemon:x:2:2:daemon:/sbin:/sbin/nologin
dm:x:3:4:adm:/var/adm:/sbin/nologin
p:x:4:7:lp:/var/spool/lpd:/sbin/nologin
ync:x:5:0:sync:/sbin:/bin/sync
hutdown:x:6:0:shutdown:/sbin:/sbin/shutdown
alt:x:7:0:halt:/sbin:/sbin/halt
ail:x:8:12:mail:/var/spool/mail:/sbin/nologin
perator:x:11:0:operator:/root:/sbin/nologin
[root@localhost ~]# 

删除特殊字符

[root@localhost ~]# sed  's/[^a-Z0-9]//g' test.txt
rootx00rootrootbinbash
binx11binbinsbinnologin
daemonx22daemonsbinsbinnologin
admx34admvaradmsbinnologin
lpx47lpvarspoollpdsbinnologin
syncx50syncsbinbinsync
shutdownx60shutdownsbinsbinshutdown
haltx70haltsbinsbinhalt
mailx812mailvarspoolmailsbinnologin
operatorx110operatorrootsbinnologin

修改ssh服务配置文件，去掉所有以#开头的行和空行，改变端口为2222，不允许root用户登录连接，修改UseDNS为no

[root@localhost ~]# sed  -e 's/#Port 22/Port 2222/' -e 's/#PermitRootlogin yes/PermitRootlogin no/' -e 's/#UseDNS yes/UseDNS no/' -e '/^#/d' -e '/^$/d' sshd.config
Port 2222
HostKey /etc/ssh/ssh_host_rsa_key
HostKey /etc/ssh/ssh_host_ecdsa_key
HostKey /etc/ssh/ssh_host_ed25519_key
SyslogFacility AUTHPRIV
AuthorizedKeysFile	.ssh/authorized_keys
PasswordAuthentication yes
ChallengeResponseAuthentication no
GSSAPIAuthentication yes
GSSAPICleanupCredentials no
UsePAM yes
X11Forwarding yes
UseDNS no
AcceptEnv LANG LC_CTYPE LC_NUMERIC LC_TIME LC_COLLATE LC_MONETARY LC_MESSAGES
AcceptEnv LC_PAPER LC_NAME LC_ADDRESS LC_TELEPHONE LC_MEASUREMENT
AcceptEnv LC_IDENTIFICATION LC_ALL LANGUAGE
AcceptEnv XMODIFIERS
Subsystem	sftp	/usr/libexec/openssh/sftp-server

AWK

AWK 是一种处理文本文件的语言，是一个强大的文本分析工具。
它是专门为文本处理设计的编程语言，也是行处理软件，通常用于扫描、过滤、统计汇总工作
数据可以来自标准输入也可以是管道或文件
20实际70年代诞生与贝尔实验室，现在centos7用的是gawk
工作原理
当读到第一行时，匹配条件，然后执行指定动作，在接着读取第二行数据处理，不会默认输出
如果没有定义匹配条件默认时匹配所有数据行，awk隐含循环，条件匹配多少次动作就会执行多少次
基本语法

awk 【选项】 '模式或条件{编辑指令}' 文件1 文件2   //过滤并输出文件中符合条件的内容
awk -f 脚本文件  文件1  文件2     //从脚本中调用编辑指令,过滤并输出内容

常见变量

$0	当前处理的行的整行内容
$n	当前处理行的第 n 个字段（第 n 列）
NF	当前处理的行的字段个数
NR	当前处理的行的行号
FS	指定每行文本的字段分隔符，默认为空格或制表位
OFS	输出字段分隔符,默认为空格或制表位
RS	输入的记录分隔符,默认为空格或制表位
ORS	输出的记录分隔符,默认为空格或制表位

示例

显示bash环境的用户

[root@localhost ~]# awk -F: '$7~/bash/{print $1}' /etc/passwd
root
tvxq
chx
zhansan
lisi
[root@localhost ~]# 

查看用户并显示加密的密码

[root@localhost ~]# awk -F: '{if($2!="*"&&$2!="!!"){print "用户名 "$1,"密码是 "$2}}' /etc/shadow
用户名 root 密码是 $6$yJ3dKevUaX8gSdu1$d66CL1ODS7fh9t7JZqfq0Hrb5qeHGFQ.xSy7DT84u5ej0sUmO7FvjR90VcNHzW0JmDLiYIcxkaMNoEnPT5Ibc0
用户名 tvxq 密码是 $6$ofGRDt4gApgPrawP$KlCkKsKzLrANar59653IK/V0MvSfDji/wlEN3mC6Qos1XyscPLMaio1BNJCciJQKNvzuPB4BxB70uUZ8LG2SS0