linux正则表达式 概念,shell正则表达式

正则定义

规定一些特殊语法表示字符类,数量限定符,位置关系,然后用这些特殊语法和普通字符一起表示亿额模式,这就是正则表达式

正则三要素字符类

数量限定符

位置限定符

正则中使用单引号保证内部字符不被shell解释掉

字符类.  匹配任意一个字符

[] 匹配括号中的任意一个字符

-  在[]中表示字符范围

^ 位于[]内的开头,表示匹配除了括号中字符外的任意一个字符

[[:xxx:]] grep工具预定义的一些命名字符类 eg alpha字  digit 数字

数量限定符?前边字符0-1次

+前边字符1-多次

*前边字符0-多次

{n}前边单元N次.匹配满足就返回,也可能后边重复多余N次

{n,}至少n次

{m,n}m到n次,也可能多余n次..可以增加$结尾限制

位置限定符^匹配行首位置

$行尾位置

\

\>匹配单词结尾位置

\b匹配单词开始或者结尾位置

\B匹配非单词开头和结尾的位置

其他特殊字符\ 转义

()将整个正则表达式组成一个单元,使用数量限定符

| 连接两个子表达式,表示或的关系

注:以上为grep正则表达式的extended规范,base也有,但是字符?+{}\()解释为普通字符,要表示上述含义需要加\转义.-E同理

sed

基本概念:sed是一种流式编辑器(stream idter)

基本格式sed option -f scriptfile file1 file2

sed option 'script' file1 file2

sed的编辑命令可以直接当命令行参数传入,也可以写成一个脚本文 件然后用-f参数指定,编辑命令的格式为/pattern/action

sed是一种在线编辑器,每次处理一行内容.每次处理将当前行放入缓存"模式空间",模式空间处理完成后移动到屏幕

格式1. /pattern/p :打印匹配pattern的行    P(print)  sed -n  '111' log  相当于grep,默认会打印一遍原文以及匹配项

2. /pattern/d :删除匹配pattern的行    D(delete)

3. /pattern/s/pattern1/pattern2/:查找符合pattern的行,将该行第一个匹配pattern1的字符串替换为pattern2

4./pattern/s/pattern1/pattern2/g:查找符合pattern的行,将该行所有匹配pattern1的字符串替换为pattern2

eg:  sed   '/^t/s/Z/--&--/g'   log

将log文件中所有的t字符开始的(正则狮)行中的Z替换为--Z--,,,&符号表示匹配pattern1的字符串

sed '/^[0-9]/s/\([0-9]*\)/~\1~' log将0-9开始的,0-9*替换为~0-9~   .因为sed默认使用basic正则,所以()需要转义,   -r使用extended

pattern2中的\1表示与pattern1的第一个括号匹配的内容.\2表示与pattern1中第二个括号匹配的内容

5.sed -i 做的修改会先修该原文

6.定址:用于据定对哪些行进行编辑.地址形式可以是数字,正则或者二者结合.如果没有定制,那么sed处理所有的行

eg

sed -n  '3p' file  打印第三行

sed -n '100,300p' fiile 打印[100,300]行

sed '/start/, /end/d' file 删除start 和end行之间的行

7.命令和选项

sed命令告诉sed如何处理由地址指定的各输入行,如果没有指定则处理所有的输入行

命令:

a\在当前行后添加一行或者多行,多行,每行需要用"\"续行

c\用次符号厚的新闻本替换当前行的文本 .....\

i\在当前行中插入文本,......

h吧模式空间李的内容赋值到暂存缓冲区

H吧模式空间的内容追加到暂存...

g复制,覆盖缘由内容

G追加

I列出非打印字符

p打印行

q结束或退出sed

r从文件读取输入行

!对所选行意外的所有行应用名林

s替换

g行内进行全局替换

w将所选行写入文件

x交换暂存缓冲区与模式空间的内容

y将字符替换为另一个字符

选项

-e进行多项编辑

-n取消默认的输出

-f指定sed脚本的文件名

正则表达式

^行首定位

$行尾定位

. 除换行以外的单个字符

*匹配0-多个前导字符

[]任意一个

[^ ]取反

\(..\) 定义元祖标签,之后可以使用\1  \2 ... \9引用

&保存查找串以便替换中引用.

\< \>词头词尾

x\{m\} 连续m个x

...

...

awk

sed以行为单位处理文件,awk更强,还能以列伪单位处理文件.

行分割缺省换行

列分割缺省连续空格和tab.

分割符也可以自己定义

命令基本形式awk option 'script'  file1 file2

swk option -f scriptfile file1 file2

/pattern/{actions}

如果每日有pattern部分,那么所有行都执行actions部分.

自动变量$1 $2 ... 分别表示第1列................... $0 表示整个当前行

awk有类似的print语句,还有两个特殊变量condition-BEGIN和END

BEGIN后边的句子在整个文件之前执行一次,END之后的句子在整个文件之后执行一次

搜索 -F

awk -F: '/root/' /etc/passwd

调用方式

1命令行方式awk[-F field-separator] 'commands' input-file(s)

commands是awk命令,[-F 域分割符]是可选的. input-file是待处理文件

2shell脚本方式#!/bin/awk -f

BEGIN{

count1=0;

count2=0;

}

{

if($1<100)

count1++;

}

else{

count2++;

}

END{

printf("%d",count2);

}

3将所有的awk命令插入一个单独文件,然后调用:awk -f awk-script-file input-file(s)

awk调用正则表达式

A.awk语句:awk '/REG/{action}'

B.awk正则运算语句(~,~! 等同! ~)

C.awk内置使用正则表达式函数gsub(Ere,Reql,[In])

sub(Ere,Reql,[In])

match(string,Ere)

split(sting,A,[Ere])

awk内置变量&&杂项ARGC

ENVIRON

FILENAME

FNR 浏览文件的记录数

FS 等价-F

NF浏览记录的域的个数

NR已读的记录数

OFS输出域分隔符

ORS输出记录分隔符

RS控制记录分隔符

$0 整条记录

$1...$.. 第n个域

print

printf 和c语言printf类似

awk进阶

1循环(类C)

2条件(类C)

3数组  下标键值

CUT

在文件中负责剪贴数据,以每一行为一个处理对象

剪贴依据(三个定位方式)字节(bytes) -b

cut -b 1-3  file      #按照字节剪贴1-3个字符

字符(characters) -c域(fields) -f

-d指定域分割符,-f指定检出哪几个域

cut -d: -f 1-2,5 /etc/passwd

sort按照字符ascii排序

-u去除重复行

-r将默认升序修改为降序

-o将结果重定向写入文件,可以指定到源文件

-n以数字方式排序而非码拍.

-t 设定分隔符, -k指定分割之后的列.实现第k列排序

-f忽略大小写比较

-c检查是否已排序,如果乱序,输出第一个乱序的行的相关信息.返回1

-C检查,如果未排序,返回1

-M以 月份方式排序

-b忽略空白

uniq

去除重复-c显示输出中,在每行行首加上本行出现次数,取代-u,-d

-d只显示重复行

-u只显示不重复

tcpdump

strace

archlinux

gento