nginx日志解析：java正则解析

原文连接：http://www.aboutyun.com/thread-20709-1-1.html

背景：     日志从nginx产生，并实时写入kafka队列中，为了便于对海量日志数据进行离线分析，我们一般将日志存放到hdfs下，然后通过hive建立外部表使用HQL进行数据统计分析。而要使hive能够识别日志信息，我们必须将日志内容结构化。将日志信息解析成hive能识别的格式，可以使用不同语言来实现，这里我们使用java 结合正则表达式来实现。 一、准备知识： 1.正则表达式语法   字符 说明 \ 将下一字符标记为特殊字符、文本、反向引用或八进制转义符。例如，"n"匹配字符"n"。"\n"匹配换行符。序列"\\"匹配"\"，"\("匹配"("。 ^ 匹配输入字符串开始的位置。如果设置了 RegExp 对象的 Multiline 属性，^ 还会与"\n"或"\r"之后的位置匹配。 $ 匹配输入字符串结尾的位置。如果设置了 RegExp 对象的 Multiline 属性，$ 还会与"\n"或"\r"之前的位置匹配。 * 零次或多次匹配前面的字符或子表达式。例如，zo* 匹配"z"和"zoo"。* 等效于 {0,}。 + 一次或多次匹配前面的字符或子表达式。例如，"zo+"与"zo"和"zoo"匹配，但与"z"不匹配。+ 等效于 {1,}。 ? 零次或一次匹配前面的字符或子表达式。例如，"do(es)?"匹配"do"或"does"中的"do"。? 等效于 {0,1}。 {n} n 是非负整数。正好匹配 n 次。例如，"o{2}"与"Bob"中的"o"不匹配，但与"food"中的两个"o"匹配。 {n,} n 是非负整数。至少匹配 n 次。例如，"o{2,}"不匹配"Bob"中的"o"，而匹配"foooood"中的所有 o。"o{1,}"等效于"o+"。"o{0,}"等效于"o*"。 {n,m} M 和 n 是非负整数，其中 n <= m。匹配至少 n 次，至多 m 次。例如，"o{1,3}"匹配"fooooood"中的头三个 o。'o{0,1}' 等效于 'o?'。注意：您不能将空格插入逗号和数字之间。 ? 当此字符紧随任何其他限定符（*、+、?、{n}、{n,}、{n,m}）之后时，匹配模式是"非贪心的"。"非贪心的"模式匹配搜索到的、尽可能短的字符串，而默认的"贪心的"模式匹配搜索到的、尽可能长的字符串。例如，在字符串"oooo"中，"o+?"只匹配单个"o"，而"o+"匹配所有"o"。 . 匹配除"\r\n"之外的任何单个字符。若要匹配包括"\r\n"在内的任意字符，请使用诸如"[\s\S]"之类的模式。 (pattern) 匹配 pattern 并捕获该匹配的子表达式。可以使用 $0…$9 属性从结果"匹配"集合中检索捕获的匹配。若要匹配括号字符 ( )，请使用"\("或者"\)"。 (?:pattern) 匹配 pattern 但不捕获该匹配的子表达式，即它是一个非捕获匹配，不存储供以后使用的匹配。这对于用"or"字符 (|) 组合模式部件的情况很有用。例如，'industr(?:y|ies) 是比 'industry|industries' 更经济的表达式。 (?=pattern) 执行正向预测先行搜索的子表达式，该表达式匹配处于匹配 pattern 的字符串的起始点的字符串。它是一个非捕获匹配，即不能捕获供以后使用的匹配。例如，'Windows (?=95|98|NT|2000)' 匹配"Windows 2000"中的"Windows"，但不匹配"Windows 3.1"中的"Windows"。预测先行不占用字符，即发生匹配后，下一匹配的搜索紧随上一匹配之后，而不是在组成预测先行的字符后。 (?!pattern) 执行反向预测先行搜索的子表达式，该表达式匹配不处于匹配 pattern 的字符串的起始点的搜索字符串。它是一个非捕获匹配，即不能捕获供以后使用的匹配。例如，'Windows (?!95|98|NT|2000)' 匹配"Windows 3.1"中的 "Windows"，但不匹配"Windows 2000"中的"Windows"。预测先行不占用字符，即发生匹配后，下一匹配的搜索紧随上一匹配之后，而不是在组成预测先行的字符后。 x|y 匹配 x 或 y。例如，'z|food' 匹配"z"或"food"。'(z|f)ood' 匹配"zood"或"food"。 [xyz] 字符集。匹配包含的任一字符。例如，"[abc]"匹配"plain"中的"a"。 [^xyz] 反向字符集。匹配未包含的任何字符。例如，"[^abc]"匹配"plain"中"p"，"l"，"i"，"n"。 [a-z] 字符范围。匹配指定范围内的任何字符。例如，"[a-z]"匹配"a"到"z"范围内的任何小写字母。 [^a-z] 反向范围字符。匹配不在指定的范围内的任何字符。例如，"[^a-z]"匹配任何不在"a"到"z"范围内的任何字符。 \b 匹配一个字边界，即字与空格间的位置。例如，"er\b"匹配"never"中的"er"，但不匹配"verb"中的"er"。 \B 非字边界匹配。"er\B"匹配"verb"中的"er"，但不匹配"never"中的"er"。 \cx 匹配 x 指示的控制字符。例如，\cM 匹配 Control-M 或回车符。x 的值必须在 A-Z 或 a-z 之间。如果不是这样，则假定 c 就是"c"字符本身。 \d 数字字符匹配。等效于 [0-9]。 \D 非数字字符匹配。等效于 [^0-9]。 \f 换页符匹配。等效于 \x0c 和 \cL。 \n 换行符匹配。等效于 \x0a 和 \cJ。 \r 匹配一个回车符。等效于 \x0d 和 \cM。 \s 匹配任何空白字符，包括空格、制表符、换页符等。与 [ \f\n\r\t\v] 等效。 \S 匹配任何非空白字符。与 [^ \f\n\r\t\v] 等效。 \t 制表符匹配。与 \x09 和 \cI 等效。 \v 垂直制表符匹配。与 \x0b 和 \cK 等效。 \w 匹配任何字类字符，包括下划线。与"[A-Za-z0-9_]"等效。 \W 与任何非单词字符匹配。与"[^A-Za-z0-9_]"等效。 \xn 匹配 n，此处的 n 是一个十六进制转义码。十六进制转义码必须正好是两位数长。例如，"\x41"匹配"A"。"\x041"与"\x04"&"1"等效。允许在正则表达式中使用 ASCII 代码。 \num 匹配 num，此处的 num 是一个正整数。到捕获匹配的反向引用。例如，"(.)\1"匹配两个连续的相同字符。 \n 标识一个八进制转义码或反向引用。如果 \n 前面至少有 n 个捕获子表达式，那么 n 是反向引用。否则，如果 n 是八进制数 (0-7)，那么 n 是八进制转义码。 \nm 标识一个八进制转义码或反向引用。如果 \nm 前面至少有 nm 个捕获子表达式，那么 nm 是反向引用。如果 \nm 前面至少有 n 个捕获，则 n 是反向引用，后面跟有字符 m。如果两种前面的情况都不存在，则 \nm 匹配八进制值 nm，其中 n 和 m 是八进制数字 (0-7)。 \nml 当 n 是八进制数 (0-3)，m 和 l 是八进制数 (0-7) 时，匹配八进制转义码 nml。 \un 匹配 n，其中 n 是以四位十六进制数表示的 Unicode 字符。例如，\u00A9 匹配版权符号 (&copy;)。 根据 Java Language Specification 的要求，Java 源代码的字符串中的反斜线被解释为 Unicode 转义或其他字符转义。因此必须在字符串字面值中使用两个反斜线，表示正则表达式受到保护，不被 Java 字节码编译器解释。例如，当解释为正则表达式时，字符串字面值 "\b" 与单个退格字符匹配，而 "\\b" 与单词边界匹配。字符串字面值 "\(hello\)" 是非法的，将导致编译时错误；要与字符串 (hello) 匹配，必须使用字符串字面值 \\(hello\\)。 2.捕获组 1. 捕获组及其编号：     1) 捕获组之前讲过，就是匹配到的内容，按照()子表达式划分成若干组；     2) 例如正则表达式：(ab)(cd(ef))就有三个捕获组，没出现一对()就是一个捕获组     3) 捕获组编号规则：          i. 引擎会对捕获组进行编号，编号规则是左括号(从左到右出现的顺序，从1开始编号；          ii. 例如： 2. 反向引用：     1) 捕获组的作用就是为了可以在正则表达式内部或者外部（Java方法）引用它；     2) 如何引用？当然是通过前面讲的用捕获组的编号来引用咯！     3) 正则表达式内部引用：          i. \X：X是一个十进制数，X的范围必须落在捕获组编号范围之内，该表达式就匹配X号捕获组所匹配到的内容；          ii. 从上面的描述可以看出，\X匹配的内容是必须X号捕获组匹配成功之后才能确定的！          iii. 例如：([ab])\1，匹配aabbcc的结果是aa和bb，\1的内容必须要让1号捕获组捕获后才能确定，如果1号捕获的是a那么\1就是a，1号捕获到了b那么\1就是b；     4) 正则表达式外部引用：就是用Matcher对象的start、end、group查询匹配信息时，使用捕获组编号对捕获组引用（int group）； 3. 捕获组命名：     1) 如果捕获组的数量非常多，那都用数字进行编号并引用将会非常混乱，并且难以记忆每个捕获组的内容及意义，因此对捕获组命名显得尤为重要；     2) Java7开始提供了对捕获组命名的语法，并且可以通过捕获组的名称对捕获组反向引用（内外都行）；          i. 命名捕获组的语法格式：(?<自定义名>expr)          ii. 例如：(?<year>\d{4})-(?<date>\d{2}-(?<day>\d{2}))              a. 有三个命名捕获组year、date和day              b. 从左到右编号分别为1、2、3（编号同样是有效的）     3) 命名捕获组的反向引用：         i. 正则表达式内引用：\k<捕获组名称> ！例如：(?<year>\d{4})-\k<year>可以匹配1999-1999         ii. 外部引用：Matcher对象的start、end、group的String name参数指定要查询的捕获组的名称； 4. 普通捕获组和命名捕获组的混合编号：     1) 普通捕获组是相对命名捕获组的，即没有显式命名的捕获组；     2) 当所有捕获组都是命名捕获组时那么编号规则和原来相同，即按照左括号(的出现顺序来编号；     3) 当普通捕获组和命名捕获组同时出现时，编号规则为：先不忽略命名捕获组，只对普通捕获组按照左括号顺序编号，然后再对命名捕获组从左往右累计编号，例如： ！先忽略命名命名捕获组<date>，先对普通捕获组编号\d{4}是1，\d\d是2，然后再接着累加地对命名捕获组编号，因此<date>是3； 二、日志内容： 这里我们要解析出：ip，时间，请求类型, url, 相应状态，发送字节数，请求耗时，响应耗时，返回IP，响应体   "message": "23.104.2.30 - - [03/Dec/2016:18:59:29 +0800] \"GET  http://zhuanti.minisite.tieniu.com/edm/images/copy.jpg HTTP/1.1\" 206 4694 \"-\" \"Dalvik/2.1.0 (Linux; U; Android 5.0; vivo X5Pro D Build/LRX21M)\" \"-\" 0.002 0.002 172.30.12.15:80 zhuanti.minisite.tieniu.com -"  "message": "190.12.50.203 - - [03/Dec/2016:18:59:29 +0800] \"GET  http://zhuanti.minisite.tieniu.com/edm/images/copy.jpg HTTP/1.1\" 206 4694 \"-\" \"Dalvik/2.1.0 (Linux; U; Android 5.0; vivo X5Pro D Build/LRX21M)\" \"-\" 0.002 0.002 172.30.12.15:80 zhuanti.minisite.tieniu.com -"  "message": "201.15.51.23 - - [03/Dec/2016:18:59:29 +0800] \"GET  http://zhuanti.minisite.tieniu.com/edm/images/copy.jpg  HTTP/1.1\" 206 4694 \"-\" \"Dalvik/2.1.0 (Linux; U; Android 5.0; vivo X5Pro D Build/LRX21M)\" \"-\" 0.002 0.002 172.30.12.15:80 zhuanti.minisite.tieniu.com -"  "message": "201.10.8.42 - - [03/Dec/2016:18:59:29 +0800] \"GET  http://zhuanti.minisite.tieniu.com/edm/images/copy.jpg  HTTP/1.1\" 206 4694 \"-\" \"Dalvik/2.1.0 (Linux; U; Android 5.0; vivo X5Pro D Build/LRX21M)\" \"-\" 0.002 0.002 172.30.12.15:80 zhuanti.minisite.tieniu.com -"  "message": "201.105.20.11 - - [03/Dec/2016:18:59:29 +0800] \"GET  http://zhuanti.minisite.tieniu.com/edm/images/copy.jpg HTTP/1.1\" 206 4694 \"-\" \"Dalvik/2.1.0 (Linux; U; Android 5.0; vivo X5Pro D Build/LRX21M)\" \"-\" 0.002 0.002 172.30.12.15:80 zhuanti.minisite.tieniu.com -"    复制代码 三、正则表达式 (?<message>\"\\w+\": \")(?<ip>\\d+\\.\\d+\\.\\d+\\.\\d+)( - - [url=file://\\[)(?<datetime]\\[)(?<datetime>[\\s\\S]+)(?<t1>\\][\\s\\\\\"]+)(?<request>[A-Z[/url]]+) ([\\S]+\\s)(?<protocol>HTTP/[\\s\\S]+)(\"\\s)(?<code>\\d+) (?<sendbytes>\\d+)([\\s\\S]+\\))([\\s\\S]+)(?<requesttime>\\d+\\.\\d+) (?<responsetime>\\d+\\.\\d+) (?<reponseurl>\\d+\\.\\d+\\.\\d+\\.\\d+:\\d+) (?<requestbody>\\D+\\s)-([\\s\\S]+) 四、具体实现代码   package kafka.api.test; import java.io.BufferedReader; import java.io.File; import java.io.FileReader; import java.io.IOException; import java.util.regex.Matcher; import java.util.regex.Pattern; public class LogParse { public static void main(String[] args) {      String fileName = "D:\\log.txt";   LogParse.readFileByLines(fileName);    } public static String parseLine(String str){      StringBuffer buf = new StringBuffer("");   String pattern = "(?<message>\"file://\\w+\]\\w+\": \")(?<ip>\\d+\\.\\d+\\.\\d+\\.\\d+)( - - file://\\[)(?<datetime]\\[)(?<datetime>[\\s\\S]+)(?<t1>\\][\\s\\\\\"]+)(?<request>[A-Z+) ([\\S]+\\s)(?<protocol>HTTP/[\\s\\S]+)(\"file://\\s)(?<code]\\s)(?<code>\\d+) (?<sendbytes>\\d+)([\\s\\S]+\\))([\\s\\S]+)(?<requesttime>\\d+\\.\\d+) (?<responsetime>\\d+\\.\\d+) (?<reponseurl>\\d+\\.\\d+\\.\\d+\\.\\d+:\\d+) (?<requestbody>\\D+\\s)-([\\s\\S]+)";   Pattern r = Pattern.compile(pattern);   Matcher m = r.matcher(str);   if(m.find()){    buf.append(m.group("ip")).append("|+|");    buf.append(m.group("datetime")).append("|+|");    buf.append(m.group("request")).append("|+|");    buf.append(m.group("protocol").replace("\\", "")).append("|+|");    buf.append(m.group("code")).append("|+|");    buf.append(m.group("sendbytes")).append("|+|");    buf.append(m.group("requesttime")).append("|+|");    buf.append(m.group("responsetime")).append("|+|");    buf.append(m.group("reponseurl")).append("|+|");    buf.append(m.group("responsetime")).append("|+|");    buf.append(m.group("requestbody"));   }   return  buf.toString(); }   public static void readFileByLines(String fileName){   File file = new File(fileName);   BufferedReader reader = null;   try {    System.out.println("以行为单位读取文件内容，一次读一整行：");    reader = new BufferedReader(new FileReader(file));    String tempString = null;    int line = 1;    //一次读入一行，直到读入null为文件结束    while ((tempString = reader.readLine()) != null){     //显示行号     System.out.println("line " + line + ": " + parseLine(tempString));          line++;    }    reader.close();   } catch (IOException e) {    e.printStackTrace();   } finally {    if (reader != null){     try {      reader.close();     } catch (IOException e1) {     }    }   } } } 复制代码 五、运行结果 以行为单位读取文件内容，一次读一整行： line 1: 23.104.2.30|+|03/Dec/2016:18:59:29 +0800|+|GET|+|HTTP/1.1|+|206|+|4694|+|0.002|+|0.002|+|172.30.12.15:80|+|0.002|+|zhuanti.minisite.tieniu.com  line 2: 190.12.50.203|+|03/Dec/2016:18:59:29 +0800|+|GET|+|HTTP/1.1|+|206|+|4694|+|0.002|+|0.002|+|172.30.12.15:80|+|0.002|+|zhuanti.minisite.tieniu.com  line 3: 201.15.51.23|+|03/Dec/2016:18:59:29 +0800|+|GET|+|HTTP/1.1|+|206|+|4694|+|0.002|+|0.002|+|172.30.12.15:80|+|0.002|+|zhuanti.minisite.tieniu.com  line 4: 201.10.8.42|+|03/Dec/2016:18:59:29 +0800|+|GET|+|HTTP/1.1|+|206|+|4694|+|0.002|+|0.002|+|172.30.12.15:80|+|0.002|+|zhuanti.minisite.tieniu.com  line 5: 201.105.20.11|+|03/Dec/2016:18:59:29 +0800|+|GET|+|HTTP/1.1|+|206|+|4694|+|0.002|+|0.002|+|172.30.12.15:80|+|0.002|+|zhuanti.minisite.tieniu.com 复制代码