Python 分析Nginx 日志并存入MySQL数据库（单线程）

使用Python 分析Nginx access 日志，根据Nginx日志格式进行分割并存入MySQL数据库。（参考网上一些文章）

Nginx access日志格式如下：

#使用的nginx默认日志格式$remote_addr - $remote_user [$time_local] "$request" $status $body_bytes_sent "$http_referer" "$http_user_agent" "$http_x_forwarded_for"'

Nginx access 日志内容如下：

182.19.31.129 - - [2013-08-13T00:00:01-07:00] "GET /css/anniversary.css HTTP/1.1" 304 0 "http://www.chlinux.net/" "Mozilla/5.0 (Windows NT 6.1; WOW64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/28.0.1500.95 Safari/537.36" "-"

下面是Python 分析nginx的Python代码：

1 2 3 4 5 6 7 8 9 10 11 12 13 14 15 16 17 18 19 20 21 22 23 24 25 26 27 28 29 30 31 32 33 34 35 36 37 38 39 40 41 42 43 44 45 46 47 48 49 50 51 52 53 54 55 56 57 58 59 60 61 62 63 64 65 66 67 68 69 70 71 72 73 74 75 76 77 78

#!/usr/bin/env python #coding:utf8 import  os import  fileinput import  re import  sys import  MySQLdb #日志的位置 logfile = open ( "access_20130812.log" ) #使用的nginx默认日志格式$remote_addr - $remote_user [$time_local] "$request" $status $body_bytes_sent "$http_referer" "$http_user_agent" "$http_x_forwarded_for"' #日志分析正则表达式 #203.208.60.230 ipP  =  r "?P<ip>[\d.]*" #以[开始,除[]以外的任意字符 防止匹配上下个[]项目(也可以使用非贪婪匹配*?) 不在中括号里的.可以匹配换行外的任意字符 *这样地重复是"贪婪的“ 表达式引擎会试着重复尽可能多的次数。#以]结束 #[21/Jan/2011:15:04:41 +0800] timeP  =  r """?P<time>\[[^\[\]]*\]""" #以"开始, #除双引号以外的任意字符 防止匹配上下个""项目(也可以使用非贪婪匹配*?),#以"结束 #"GET /EntpShop.do?method=view&shop_id=391796 HTTP/1.1" #"GET /EntpShop.do?method=view&shop_id=391796 HTTP/1.1" requestP  =  r """?P<request>\"[^\"]*\""" " statusP  =  r "?P<status>\d+" bodyBytesSentP  =  r "?P<bodyByteSent>\d+" #以"开始, 除双引号以外的任意字符 防止匹配上下个""项目(也可以使用非贪婪匹配*?),#以"结束 #"http://test.myweb.com/myAction.do?method=view&mod_id=&id=1346" referP  =  r """?P<refer>\"[^\"]*\""" " #以"开始, 除双引号以外的任意字符 防止匹配上下个""项目(也可以使用非贪婪匹配*?),以"结束 #"Mozilla/5.0 (compatible; Googlebot/2.1; +http://www.google.com/bot.html)"' userAgentP  =  r """?P<userAgent>\"[^\"]*\""" " #以(开始, 除双引号以外的任意字符 防止匹配上下个()项目(也可以使用非贪婪匹配*?),以"结束 #(compatible; Googlebot/2.1; +http://www.google.com/bot.html)"' userSystems  =  re. compile (r '\([^\(\)]*\)' ) #以"开始，除双引号以外的任意字符防止匹配上下个""项目(也可以使用非贪婪匹配*?),以"结束 userlius  =  re. compile (r '[^\)]*\"' ) #原理：主要通过空格和-来区分各不同项目，各项目内部写各自的匹配表达式 nginxLogPattern  =  re. compile (r "(%s)\ -\ -\ (%s)\ (%s)\ (%s)\ (%s)\ (%s)\ (%s)"  % (ipP, timeP, requestP, statusP, bodyBytesSentP, referP, userAgentP), re.VERBOSE) #数据库连接信息 conn = MySQLdb.connect(host = '192.168.1.22' ,user = 'test' ,passwd = 'pass' ,port = 3306 ,db = 'python' ) cur = conn.cursor() sql  =  "INSERT INTO python.test VALUES(%s,%s,%s,%s,%s,%s,%s,%s,%s)" while  True :      line  =  logfile.readline()      if  not  line: break      matchs  =  nginxLogPattern.match(line)      if  matchs ! =  None :          allGroup  =  matchs.groups()          ip  =  allGroup[ 0 ]          time  =  allGroup[ 1 ]          request  =  allGroup[ 2 ]          status  =  allGroup[ 3 ]          bodyBytesSent  =  allGroup[ 4 ]          refer  =  allGroup[ 5 ]          userAgent  =  allGroup[ 6 ]          Time  =  time.replace( 'T' , ' ' )[ 1 : - 7 ]          if  len (userAgent) >  20 :              userinfo  =  userAgent.split( ' ' )              userkel  =   userinfo[ 0 ]              try :                  usersystem  =  userSystems.findall(userAgent)                  usersystem  =  usersystem[ 0 ]                  print  usersystem                  userliu  =  userlius.findall(userAgent)                  value  =  [ip,Time,request,status,bodyBytesSent,refer,userkel,usersystem,userliu[ 1 ]]                  conn.commit()                  print  value              except  IndexError:                  userinfo  =  userAgent                  value  =  [ip,Time,request,status,bodyBytesSent,refer,userinfo," "," "]          else :              useraa  =  userAgent              value  =  [ip,Time,request,status,bodyBytesSent,refer,useraa," "," "]      try :          result  =  cur.execute(sql,value)          #conn.commit()          print  result      except  MySQLdb.Error,e:          print  "Mysql Error %d: %s"  %  (e.args[ 0 ], e.args[ 1 ]) conn.commit() conn.close()

存入数据库后数据是如下格式：

本文转自1594cqb 51CTO博客，原文链接：http://blog.51cto.com/wolfchen/1374470，如需转载请自行联系原作者