正则表达式
基础正则
grep '^str' log.txt : 以 'str' 开头的行
grep 'str$' log.txt :以 'str'结尾的行
grep 'str' log.txt : 存在'str'的行
^$ :空行
grep -v '^$' log.txt :排除文件中的空行
'.' :匹配任意一个字符
grep '\.$' log.txt :匹配文件中 以 . 结尾的行
grep '[.]$' log.txt
'*' :前一个字符连续出现0次或0次以上
'?' :前一个字符连续出现0次或者1次
grep '^.*t' log.txt :匹配最大前缀字符串以 't' 结尾
'[abc]' :匹配任何一个字符(a或b或c)
[a-z] , [A-Z],[0-9],[a-Z0-9]
[]里面的内容去掉特殊含义:[.] :匹配'.'
[^abc] :取反,排除a或b或c的内容
扩展正则
+ :前一个字符连续出现1次或者1次以上
egrep '0+' log.txt
egrep '[0-9]+' log.txt :匹配文件中连续的数字
| :或者
egrep 'baudu|baidu' log.txt
() :被括起来的内容,表示一个整体
egrep 'ba(i|u)du' log.txt
{} :连续出现
't{n,m}' :前一个字母 t 至少连续出现n次,最多出现m次 >=n , <=m
't{n}' :前一个字母 t 连续出现n次 ==n
'{n,}' : >=n
'{,m}' : <=m
grep
grep 命令用于查找文件里符合条件的字符串。
参数 | 含义 |
---|---|
-E | ==egrep支持扩展正则 |
-c | 计算符合样式的行数 |
-v | 显示不包含匹配文本的所有行 |
-i | 忽略字符大小写的差别 |
-n | 显示行号 |
-o | 只显示匹配PATTERN 部分 |
-w | 只显示全字符合的行,精确匹配 |
sed
sed是一种非交互式的编辑器,能执行与编辑器vi相同的编辑任务。使用者只能在命令行输入编辑命令、指定文件名,然后再屏幕上查看输出。sed编辑器没有破坏性
,不会修改文件,除非使用shell重定向来保存输出结果。默认情况下,所有的输出行都被打印到屏幕上。
sed命令行格式:sed [选项] 'command' 输入文本
sed常用的选项:
- -n:默认所有的stdin都会输出到屏幕上,加入-n只会打印被sed处理的行
- -r:sed使用扩展正则
- -i:直接修改文档读取的内容,不在屏幕上输出
sed操作命令:
- a :新增, a 的后面可以接字串,而这些字串会在新的一行出现(目前的下一行)~
- c :取代, c 的后面可以接字串,这些字串可以取代 n1,n2 之间的行!
- d :删除,所以 d 后面通常不接任何咚咚;
- i :插入, i 的后面可以接字串,而这些字串会在新的一行出现(目前的上一行);
- p :打印,亦即将某个选择的数据印出。通常 p 会与参数 sed -n 一起运行~
- s :取代,可以直接进行取代的工作哩!通常这个 s 的动作可以搭配正规表示法
案例:
`查找`:p
1、打印出匹配能匹配到 'tyq' 的行
sed -n '/tyq/p' sed.txt
`删除`:d
1、删除第三行,其余行打印到屏幕
sed '3d' sed.txt
2、删除从第三行到最后一行的内容
sed '3,$d' sed.txt
3、删除所有包含 'tyq' 的行
sed '/tyq/d' sed.txt
`替换`:s
1、把'west'替换成'north'
sed 's/west/north/g' sed.txt
-g:表示在行内全局替换,默认是将每一行的第一west替换为north
`追加`:a , i ,c
sed '/^north /a hello,world' sed.txt
字符串'hello,world'被加在以north开头,north后面跟一个空格的各行之后。
-i:类似与a命令,加在当前行前面
-c:将已有的文本修改成新的文本
sed '/east/c hello' sed.txt
awk
取行
取列
- -F:指定分隔符,指定每一列结束标记(默认是空格,连续的空格,tab)
- $数字:取出某一列,
- $0:整行的内容
- $NF:表示最后一列
- {print xxx}
案例:取出网卡ip地址
匹配模式
- ~:包含
- !~:不包含
- BEGIN{} :里面内容会在awk读取文件之前执行
- END{}:在awk读取文件之后执行
awk数组
- 统计日志
- 统计次数:统计每一个ip出现的次数,统计每个用户被攻击的次数
- 统计流量:统计每个ip消耗的流量
数组一般的定义和使用:
案例:统计网站的访问次数