D语言，WEB 日志正则分解,管道处理进入数据库

我想将WEB服务器日志通过管道处理然后写入数据库

 

C代码  

1. $ cat match.d   
2. import std.regex;  
3. import std.stdio;  
4. import std.string;  
5. import std.array;  
6.   
7. void main()  
8. {  
9.     auto r = regex(`^(\S+) (\S+) (\S+) \[(.+)\] "([^"]+)" ([0-9]{3}) ([0-9]+) "([^"]+)" "([^"]+)" "([^"]+)"`);  
10.     foreach(line; stdin.byLine)  
11.     {  
12.         foreach(m; match(line, r)){  
13.             auto c = m.captures;  
14.             c.popFront();  
15.             auto value = join(c, "\",\"");  
16.             auto sql = format("insert into log(remote_addr,unknow,remote_user,time_local,request,status,body_bytes_sent,http_referer,http_user_agent,http_x_forwarded_for) value(\"%s\");", value );  
17.             writeln(sql);  
18.         }  
19.     }  
20. }  

 编译

Java代码  

1. $ dmd match.d  
2.    
3. 编译优化（减肥）  
4. $ strip match  

测试

Bash代码  

1. $ cat access.log | ./match  
2.   
3. 输出类似  
4.   
5. insert into log(remote_addr,unknow,remote_user,time_local,request,status,body_bytes_sent,http_referer,http_user_agent,http_x_forwarded_for) value("192.168.2.76","-","-","19/Mar/2013:15:24:20 +0800","GET /favicon.ico HTTP/1.1","404","193","-","Mozilla/5.0 (Windows NT 6.1; WOW64) AppleWebKit/535.11 (KHTML, like Gecko) Chrome/17.0.963.84 Safari/535.11 SE 2.X MetaSr 1.0","-");  

  

用法

 

Bash代码  

1. $ cat access.log | match | mysql -hlocalhost -ulog -p123456 logging  

 

高级用法， 实时处理日志

1. 首先创建一个管道
2. 寻该日志文件写入管道中
3. cat  管道名 | match | mysql -hlocalhost -ulog -p123456 logging  这样就可以实现实时日志插入。

上面程序稍加修改即可实现Hbase, Hypertable 插入