原文连接:http://www.aboutyun.com/thread-20709-1-1.html
背景: 日志从nginx产生,并实时写入kafka队列中,为了便于对海量日志数据进行离线分析,我们一般将日志存放到hdfs下,然后通过hive建立外部表使用HQL进行数据统计分析。而要使hive能够识别日志信息,我们必须将日志内容结构化。将日志信息解析成hive能识别的格式,可以使用不同语言来实现,这里我们使用java 结合正则表达式来实现。 一、准备知识: 1.正则表达式语法
字符 说明 \ 将下一字符标记为特殊字符、文本、反向引用或八进制转义符。例如,"n"匹配字符"n"。"\n"匹配换行符。序列"\\"匹配"\","\("匹配"("。 ^ 匹配输入字符串开始的位置。如果设置了 RegExp 对象的 Multiline 属性,^ 还会与"\n"或"\r"之后的位置匹配。 $ 匹配输入字符串结尾的位置。如果设置了 RegExp 对象的 Multiline 属性,$ 还会与"\n"或"\r"之前的位置匹配。 * 零次或多次匹配前面的字符或子表达式。例如,zo* 匹配"z"和"zoo"。* 等效于 {0,}。 + 一次或多次匹配前面的字符或子表达式。例如,"zo+"与"zo"和"zoo"匹配,但与"z"不匹配。+ 等效于 {1,}。 ? 零次或一次匹配前面的字符或子表达式。例如,"do(es)?"匹配"do"或"does"中的"do"。? 等效于 {0,1}。 {n} n 是非负整数。正好匹配 n 次。例如,"o{2}"与"Bob"中的"o"不匹配,但与"food"中的两个"o"匹配。 {n,} n 是非负整数。至少匹配 n 次。例如,"o{2,}"不匹配"Bob"中的"o",而匹配"foooood"中的所有 o。"o{1,}"等效于"o+"。"o{0,}"等效于"o*"。 {n,m} M 和 n 是非负整数,其中 n <= m。匹配至少 n 次,至多 m 次。例如,"o{1,3}"匹配"fooooood"中的头三个 o。'o{0,1}' 等效于 'o?'。注意:您不能将空格插入逗号和数字之间。 ? 当此字符紧随任何其他限定符(*、+、?、{n}、{n,}、{n,m})之后时,匹配模式是"非贪心的"。"非贪心的"模式匹配搜索到的、尽可能短的字符串,而默认的"贪心的"模式匹配搜索到的、尽可能长的字符串。例如,在字符串"oooo"中,"o+?"只匹配单个"o",而"o+"匹配所有"o"。 . 匹配除"\r\n"之外的任何单个字符。若要匹配包括"\r\n"在内的任意字符,请使用诸如"[\s\S]"之类的模式。 (pattern) 匹配 pattern 并捕获该匹配的子表达式。可以使用 $0…$9 属性从结果"匹配"集合中检索捕获的匹配。若要匹配括号字符 ( ),请使用"\("或者"\)"。 (?:pattern) 匹配 pattern 但不捕获该匹配的子表达式,即它是一个非捕获匹配,不存储供以后使用的匹配。这对于用"or"字符 (|) 组合模式部件的情况很有用。例如,'industr(?:y|ies) 是比 'industry|industries' 更经济的表达式。 (?=pattern) 执行正向预测先行搜索的子表达式,该表达式匹配处于匹配 pattern 的字符串的起始点的字符串。它是一个非捕获匹配,即不能捕获供以后使用的匹配。例如,'Windows (?=95|98|NT|2000)' 匹配"Windows 2000"中的"Windows",但不匹配"Windows 3.1"中的"Windows"。预测先行不占用字符,即发生匹配后,下一匹配的搜索紧随上一匹配之后,而不是在组成预测先行的字符后。 (?!pattern) 执行反向预测先行搜索的子表达式,该表达式匹配不处于匹配 pattern 的字符串的起始点的搜索字符串。它是一个非捕获匹配,即不能捕获供以后使用的匹配。例如,'Windows (?!95|98|NT|2000)' 匹配"Windows 3.1"中的 "Windows",但不匹配"Windows 2000"中的"Windows"。预测先行不占用字符,即发生匹配后,下一匹配的搜索紧随上一匹配之后,而不是在组成预测先行的字符后。 x|y 匹配 x 或 y。例如,'z|food' 匹配"z"或"food"。'(z|f)ood' 匹配"zood"或"food"。 [xyz] 字符集。匹配包含的任一字符。例如,"[abc]"匹配"plain"中的"a"。 [^xyz] 反向字符集。匹配未包含的任何字符。例如,"[^abc]"匹配"plain"中"p","l","i","n"。 [a-z] 字符范围。匹配指定范围内的任何字符。例如,"[a-z]"匹配"a"到"z"范围内的任何小写字母。 [^a-z] 反向范围字符。匹配不在指定的范围内的任何字符。例如,"[^a-z]"匹配任何不在"a"到"z"范围内的任何字符。 \b 匹配一个字边界,即字与空格间的位置。例如,"er\b"匹配"never"中的"er",但不匹配"verb"中的"er"。 \B 非字边界匹配。"er\B"匹配"verb"中的"er",但不匹配"never"中的"er"。 \cx 匹配 x 指示的控制字符。例如,\cM 匹配 Control-M 或回车符。x 的值必须在 A-Z 或 a-z 之间。如果不是这样,则假定 c 就是"c"字符本身。 \d 数字字符匹配。等效于 [0-9]。 \D 非数字字符匹配。等效于 [^0-9]。 \f 换页符匹配。等效于 \x0c 和 \cL。 \n 换行符匹配。等效于 \x0a 和 \cJ。 \r 匹配一个回车符。等效于 \x0d 和 \cM。 \s 匹配任何空白字符,包括空格、制表符、换页符等。与 [ \f\n\r\t\v] 等效。 \S 匹配任何非空白字符。与 [^ \f\n\r\t\v] 等效。 \t 制表符匹配。与 \x09 和 \cI 等效。 \v 垂直制表符匹配。与 \x0b 和 \cK 等效。 \w 匹配任何字类字符,包括下划线。与"[A-Za-z0-9_]"等效。 \W 与任何非单词字符匹配。与"[^A-Za-z0-9_]"等效。 \xn 匹配 n,此处的 n 是一个十六进制转义码。十六进制转义码必须正好是两位数长。例如,"\x41"匹配"A"。"\x041"与"\x04"&"1"等效。允许在正则表达式中使用 ASCII 代码。 \num 匹配 num,此处的 num 是一个正整数。到捕获匹配的反向引用。例如,"(.)\1"匹配两个连续的相同字符。 \n 标识一个八进制转义码或反向引用。如果 \n 前面至少有 n 个捕获子表达式,那么 n 是反向引用。否则,如果 n 是八进制数 (0-7),那么 n 是八进制转义码。 \nm 标识一个八进制转义码或反向引用。如果 \nm 前面至少有 nm 个捕获子表达式,那么 nm 是反向引用。如果 \nm 前面至少有 n 个捕获,则 n 是反向引用,后面跟有字符 m。如果两种前面的情况都不存在,则 \nm 匹配八进制值 nm,其中 n 和 m 是八进制数字 (0-7)。 \nml 当 n 是八进制数 (0-3),m 和 l 是八进制数 (0-7) 时,匹配八进制转义码 nml。 \un 匹配 n,其中 n 是以四位十六进制数表示的 Unicode 字符。例如,\u00A9 匹配版权符号 (©)。
根据 Java Language Specification 的要求,Java 源代码的字符串中的反斜线被解释为 Unicode 转义或其他字符转义。因此必须在字符串字面值中使用两个反斜线,表示正则表达式受到保护,不被 Java 字节码编译器解释。例如,当解释为正则表达式时,字符串字面值 "\b" 与单个退格字符匹配,而 "\\b" 与单词边界匹配。字符串字面值 "\(hello\)" 是非法的,将导致编译时错误;要与字符串 (hello) 匹配,必须使用字符串字面值 \\(hello\\)。
2.捕获组 1. 捕获组及其编号: 1) 捕获组之前讲过,就是匹配到的内容,按照()子表达式划分成若干组; 2) 例如正则表达式:(ab)(cd(ef))就有三个捕获组,没出现一对()就是一个捕获组 3) 捕获组编号规则: i. 引擎会对捕获组进行编号,编号规则是左括号(从左到右出现的顺序,从1开始编号; ii. 例如: 2. 反向引用: 1) 捕获组的作用就是为了可以在正则表达式内部或者外部(Java 方法)引用它; 2) 如何引用?当然是通过前面讲的用捕获组的编号来引用咯! 3) 正则表达式内部引用: i. \X:X是一个十进制数,X的范围必须落在捕获组编号范围之内,该表达式就匹配X号捕获组所匹配到的内容; ii. 从上面的描述可以看出,\X匹配的内容是必须X号捕获组匹配成功之后才能确定的! iii. 例如:([ab])\1,匹配aabbcc的结果是aa和bb,\1的内容必须要让1号捕获组捕获后才能确定,如果1号捕获的是a那么\1就是a,1号捕获到了b那么\1就是b; 4) 正则表达式外部引用:就是用Matcher对象的start、end、group查询匹配信息时,使用捕获组编号对捕获组引用(int group); 3. 捕获组命名: 1) 如果捕获组的数量非常多,那都用数字进行编号并引用将会非常混乱,并且难以记忆每个捕获组的内容及意义,因此对捕获组命名显得尤为重要; 2) Java 7开始提供了对捕获组命名的语法,并且可以通过捕获组的名称对捕获组反向引用(内外都行); i. 命名捕获组的语法格式:(?<自定义名>expr) ii. 例如:(?<year>\d{4})-(?<date>\d{2}-(?<day>\d{2})) a. 有三个命名捕获组year、date和day b. 从左到右编号分别为1、2、3(编号同样是有效的) 3) 命名捕获组的反向引用: i. 正则表达式内引用:\k<捕获组名称> !例如:(?<year>\d{4})-\k<year>可以匹配1999-1999 ii. 外部引用:Matcher对象的start、end、group的String name参数指定要查询的捕获组的名称; 4. 普通捕获组和命名捕获组的混合编号: 1) 普通捕获组是相对命名捕获组的,即没有显式命名的捕获组; 2) 当所有捕获组都是命名捕获组时那么编号规则和原来相同,即按照左括号(的出现顺序来编号; 3) 当普通捕获组和命名捕获组同时出现时,编号规则为:先不忽略命名捕获组,只对普通捕获组按照左括号顺序编号,然后再对命名捕获组从左往右累计编号,例如: !先忽略命名命名捕获组<date>,先对普通捕获组编号\d{4}是1,\d\d是2,然后再接着累加地对命名捕获组编号,因此<date>是3; 二、日志内容: 这里我们要解析出:ip,时间,请求类型, url, 相应状态,发送字节数,请求耗时,响应耗时,返回IP,响应体
"message": "23.104.2.30 - - [03/Dec/2016:18:59:29 +0800] \"GET http://zhuanti.minisite.tieniu.com/edm/images/copy.jpg HTTP/1.1\" 206 4694 \"-\" \"Dalvik/2.1.0 (Linux; U; Android 5.0; vivo X5Pro D Build/LRX21M)\" \"-\" 0.002 0.002 172.30.12.15:80 zhuanti.minisite.tieniu.com -" "message": "190.12.50.203 - - [03/Dec/2016:18:59:29 +0800] \"GET http://zhuanti.minisite.tieniu.com/edm/images/copy.jpg HTTP/1.1\" 206 4694 \"-\" \"Dalvik/2.1.0 (Linux; U; Android 5.0; vivo X5Pro D Build/LRX21M)\" \"-\" 0.002 0.002 172.30.12.15:80 zhuanti.minisite.tieniu.com -" "message": "201.15.51.23 - - [03/Dec/2016:18:59:29 +0800] \"GET http://zhuanti.minisite.tieniu.com/edm/images/copy.jpg HTTP/1.1\" 206 4694 \"-\" \"Dalvik/2.1.0 (Linux; U; Android 5.0; vivo X5Pro D Build/LRX21M)\" \"-\" 0.002 0.002 172.30.12.15:80 zhuanti.minisite.tieniu.com -" "message": "201.10.8.42 - - [03/Dec/2016:18:59:29 +0800] \"GET http://zhuanti.minisite.tieniu.com/edm/images/copy.jpg HTTP/1.1\" 206 4694 \"-\" \"Dalvik/2.1.0 (Linux; U; Android 5.0; vivo X5Pro D Build/LRX21M)\" \"-\" 0.002 0.002 172.30.12.15:80 zhuanti.minisite.tieniu.com -" "message": "201.105.20.11 - - [03/Dec/2016:18:59:29 +0800] \"GET http://zhuanti.minisite.tieniu.com/edm/images/copy.jpg HTTP/1.1\" 206 4694 \"-\" \"Dalvik/2.1.0 (Linux; U; Android 5.0; vivo X5Pro D Build/LRX21M)\" \"-\" 0.002 0.002 172.30.12.15:80 zhuanti.minisite.tieniu.com -" 复制代码 三、正则表达式 (?<message>\"\\w+\ ": \")(?<ip>\\d+\\.\\d+\\.\\d+\\.\\d+)( - - [url=file://\\[)(?<datetime]\\[)(?<datetime>[\\s\\S]+)(?<t1>\\][\\s\\\\\"]+)(?<request>[A-Z[/url]]+) ([\\S]+\\s)(?<protocol>HTTP/[\\s\\S]+)(\"\\s)(?<code>\\d +) (?<sendbytes>\\d+)([\\s\\S]+\\))([\\s\\S]+)(?<requesttime>\\d+\\.\\d+) (?<responsetime>\\d+\\.\\d+) (?<reponseurl>\\d+\\.\\d+\\.\\d+\\.\\d+:\\d+) (?<requestbody>\\D+\\s)-([\\s\\S]+) 四、具体实现代码
package kafka.api.test; import java.io.BufferedReader; import java.io.File; import java.io.FileReader; import java.io.IOException; import java.util.regex.Matcher; import java.util.regex.Pattern; public class LogParse { public static void main(String[] args) { String fileName = "D:\\log.txt"; LogParse.readFileByLines(fileName); } public static String parseLine(String str){ StringBuffer buf = new StringBuffer(""); String pattern = "(?<message>\"file://\\w+\]\\w+\": \")(?<ip>\\d+\\.\\d+\\.\\d+\\.\\d+)( - - file://\\[)(?<datetime]\\[)(?<datetime>[\\s\\S]+)(?<t1>\\][\\s\\\\\"]+)(?<request>[A-Z+) ([\\S]+\\s)(?<protocol>HTTP/[\\s\\S]+)(\"file://\\s)(?<code]\\s)(?<code>\\d+) (?<sendbytes>\\d+)([\\s\\S]+\\))([\\s\\S]+)(?<requesttime>\\d+\\.\\d+) (?<responsetime>\\d+\\.\\d+) (?<reponseurl>\\d+\\.\\d+\\.\\d+\\.\\d+:\\d+) (?<requestbody>\\D+\\s)-([\\s\\S]+)"; Pattern r = Pattern.compile(pattern); Matcher m = r.matcher(str); if(m.find()){ buf.append(m.group("ip")).append("|+|"); buf.append(m.group("datetime")).append("|+|"); buf.append(m.group("request")).append("|+|"); buf.append(m.group("protocol").replace("\\", "")).append("|+|"); buf.append(m.group("code")).append("|+|"); buf.append(m.group("sendbytes")).append("|+|"); buf.append(m.group("requesttime")).append("|+|"); buf.append(m.group("responsetime")).append("|+|"); buf.append(m.group("reponseurl")).append("|+|"); buf.append(m.group("responsetime")).append("|+|"); buf.append(m.group("requestbody")); } return buf.toString(); } public static void readFileByLines(String fileName){ File file = new File(fileName); BufferedReader reader = null; try { System.out.println("以行为单位读取文件内容,一次读一整行:"); reader = new BufferedReader(new FileReader(file)); String tempString = null; int line = 1; //一次读入一行,直到读入null为文件结束 while ((tempString = reader.readLine()) != null){ //显示行号 System.out.println("line " + line + ": " + parseLine(tempString)); line++; } reader.close(); } catch (IOException e) { e.printStackTrace(); } finally { if (reader != null){ try { reader.close(); } catch (IOException e1) { } } } } } 复制代码 五、运行结果
以行为单位读取文件内容,一次读一整行: line 1: 23.104.2.30|+|03/Dec/2016:18:59:29 +0800|+|GET|+|HTTP/1.1|+|206|+|4694|+|0.002|+|0.002|+|172.30.12.15:80|+|0.002|+|zhuanti.minisite.tieniu.com line 2: 190.12.50.203|+|03/Dec/2016:18:59:29 +0800|+|GET|+|HTTP/1.1|+|206|+|4694|+|0.002|+|0.002|+|172.30.12.15:80|+|0.002|+|zhuanti.minisite.tieniu.com line 3: 201.15.51.23|+|03/Dec/2016:18:59:29 +0800|+|GET|+|HTTP/1.1|+|206|+|4694|+|0.002|+|0.002|+|172.30.12.15:80|+|0.002|+|zhuanti.minisite.tieniu.com line 4: 201.10.8.42|+|03/Dec/2016:18:59:29 +0800|+|GET|+|HTTP/1.1|+|206|+|4694|+|0.002|+|0.002|+|172.30.12.15:80|+|0.002|+|zhuanti.minisite.tieniu.com line 5: 201.105.20.11|+|03/Dec/2016:18:59:29 +0800|+|GET|+|HTTP/1.1|+|206|+|4694|+|0.002|+|0.002|+|172.30.12.15:80|+|0.002|+|zhuanti.minisite.tieniu.com 复制代码