python访问数据库日志文件_python利用inotify实现把nginx日志实时写入数据库

利用了pyinotify库，我用的是这里的这个，外链网址已屏蔽

其实网上yum上也有pyinotify库可以安装。

写入数据库是pymysql这里做一下记录，

先务pyinotify实现一个tail -f 的功能：

#!/opt/python3/bin/python3

#

import pyinotify

import time

import os

import sys

class ProcessTransientFile(pyinotify.ProcessEvent):

def process_IN_MODIFY(self,event):

line = file.readline()

if line:

print(line, end='')

if __name__ == '__main__':

filename = sys.argv[1]

file = open(filename,'r')

st_results = os.stat(filename)

st_size = st_results[6]

file.seek(st_size)

wm = pyinotify.WatchManager()

notifier = pyinotify.Notifier(wm)

wm.watch_transient_file(filename, pyinotify.IN_MODIFY, ProcessTransientFile)

notifier.loop()

然后通过pytaif /usr/local/nginx/logs/.access.log就可以进行日志的实时查看。

这个是实时查看，和tail -f 功能一样。只打印一行，

现在就是定义一个nginxloganalyzer函数进行日志分析，是默认的nginx日志，这个没有用正则，用了土办法查找特定字符。

def nginxLogAnalyzer(line):

#print(line)

g1 = line.find('[')

g2 = line.find(']')

h1 = line.find('"')

h2 = line.find('"', h1+1)

h3 = line.find('"', h2+1)

h4 = line.find('"', h3+1)

h5 = line.find('"', h4+1)

h6 = line.find('"', h5+1)

#print("g1:%d"%g1)

#print("g2:%d"%g2)

#print("h1:%d"%h1)

#print("h2:%d"%h2)

#print("h3:%d"%h3)

#print("h4:%d"%h4)

#print("h5:%d"%h5)

#print("h6:%d"%h6)