sed过滤后写入文件_sed 按日期过滤 nginx log 日志

文章目录

针对 Linux 系统下 nginx 访问日志查询.

我们常常会直接上服务器使用 cat ,head , tail 等命令来查看.

但是面对几个G ,甚至几十个G 的log日志文件时,你想定位到多少行到多少行,谈何容易!

所以,今天和大家分享一个按日期提取 log 日志的方法.

sed 命令简介 sed全名叫stream editor,流编辑器,用程序的方式来编辑文本,基本上就是玩正则模式匹配,相当的hacker.

sed 参数简介 -n ：使用安静(silent)模式。在一般 sed 的用法中，所有来自 STDIN 的数据一般都会被列出到终端上。但如果加上 -n 参数后，则只有经过sed 特殊处理的那一行(或者动作)才会被列出来。

-e ：直接在命令列模式上进行 sed 的动作编辑；

-f ：直接将 sed 的动作写在一个文件内， -f filename 则可以运行 filename 内的 sed 动作；

-r ：sed 的动作支持的是延伸型正规表示法的语法。(默认是基础正规表示法语法)

-i ：直接修改读取的文件内容，而不是输出到终端。

动作说明： [n1[,n2]]function

n1, n2 ：不见得会存在，一般代表『选择进行动作的行数』，举例来说，如果我的动作是需要在 10 到 20 行之间进行的，则『 10,20[动作行为] 』

function：

a ：新增， a 的后面可以接字串，而这些字串会在新的一行出现(目前的下一行)～

c ：取代， c 的后面可以接字串，这些字串可以取代 n1,n2 之间的行！

d ：删除，因为是删除啊，所以 d 后面通常不接任何咚咚；

i ：插入， i 的后面可以接字串，而这些字串会在新的一行出现(目前的上一行)；

p ：列印，亦即将某个选择的数据印出。通常 p 会与参数 sed -n 一起运行～

s ：取代，可以直接进行取代的工作哩！通常这个 s 的动作可以搭配正规表示法！例如 1,20s/old/new/g 就是啦！

看下服务器上log 日志

一共 21G,

上面2个小文件是我已经按日期提取出来的当天日志.

所有的日志都存储在 access_log 文件中.

看下log 日志格式 xxxx.com 5.53.125.207 - - [24/Feb/2016:12:48:41 +0800] "GET http://xxxx.com/template/images/icon/weibo.png HTTP/1.1" 200 1027

主域 ip 请求时间 请求方式 请求地址 http版本

我们可以看到每一条记录都有详细的请求时间,时间格式是 dd/MM/YYYY 而且中间的月份显示的是英文缩写.

我们设定一个正则表达式来提取指定日期的log sed -n '/16\/Feb\/2016/,/17\/Feb\/2016/p' access_log>20160216.log

上面的指令就是通过 sed 命令,把 access_log 日志文件中 2016年2月16日到 2016年2月17日的log 全部过滤出来.

然后写入 20160216.log 文件中

最后分析 20160216.log 文件即可.

当然,也有人可能需要过滤的小时,分钟,秒级别,都是可以的.直接修改上的正则表达式即可.

正则元字符

^ 行首定位符 /^my/ 匹配所有以my开头的行

$ 行尾定位符 /my$/ 匹配所有以my结尾的行

. 匹配除换行符以外的单个字符 /m..y/ 匹配包含字母m，后跟两个任意字符，再跟字母y的行

匹配零个或多个前导字符 /my*/ 匹配包含字母m,后跟零个或多个y字母的行

[] 匹配指定字符组内的任一字符 /[Mm]y/ 匹配包含My或my的行

[^] 匹配不在指定字符组内的任一字符 /[^Mm]y/ 匹配包含y，但y之前的那个字符不是M或m的行

(..) 保存已匹配的字符 1,20s/(you)self/\1r/ 标记元字符之间的模式，并将其保存为标签1，之后可以使用\1来引用它

& 保存查找串以便在替换串中引用 s/my/&/ 符号&代表查找串。my将被替换为my

< 词首定位符 /

> 词尾定位符 /my>/ 匹配包含以my结尾的单词的行

x{m} 连续m个x /9{5}/ 匹配包含连续5个9的行

x{m,} 至少m个x /9{5,}/ 匹配包含至少连续5个9的行

x{m,n} 至少m个，但不超过n个x /9{5,7}/ 匹配包含连续5到7个9的行