orcal如何抓取mysql数据_2.使用Django获取Oracle TOP SQL数据并存入MySQL数据库

使用Django获取Oracle TOP SQL数据并存入MySQL数据库

2017-12-05 Python 宅必备

前面介绍了如何利用Python搭建一个网站并且介绍了如何在其中执行Oracle命令并在前端显示出来

然后讲述自定义命令相关的知识

精彩内容可通过公众号自定义菜单查看也可直接查看我的网站

通过上面我们已经知道了如何使用Django获取数据库的信息

接下来我们说的是如何通过Django创建的网站来监控Oracle的TOP SQL

注意事项

前面的内容我使用的是CentOS 6.8+ Python 2.7 的环境

从这期开始已经改成了CentOS 7 +Python 3.6 的环境

关于如何迁移将在后面介绍

开发环境

操作系统:CentOS 7.4

Python版本 :3.6

Django版本: 1.10.5

操作系统用户:oms

上节我们介绍了如何新建一个自定义命令，这节讲述如何使用其获取Oracle常见的性能指标，如物理读，逻辑读，CPU Time,等待事件等并保存在MySQL数据库中

1. 新建MySQL表存放监控数据

我们日常在运维Oracle数据库时有很多指标需要考虑

这里我挑选了一些日常检查的项目

物理读:oracle_diskreads

逻辑读:oracle_buffergets

执行时间:oracle_elapsedtime

CPU 时间:oracle_cputime

TOP等待事件:oracle_topevent

1.1 添加models

这里列出来几个表的创建，全部代码请查看我的github主页

注意这里不同于Python2.7版本，原来的unicode在这里使用str

vim models.py

class oracle_diskreads(models.Model):

ipaddress=models.GenericIPAddressField()

tnsname=models.CharField(max_length=50)

sql_time=models.BigIntegerField(blank=True)

sql_id=models.CharField(max_length=50)

disk_reads=models.BigIntegerField(blank=True)

executions=models.BigIntegerField(blank=True)

cpu_time=models.BigIntegerField(blank=True,null=True)

elapsed_time=models.BigIntegerField(blank=True,null=True)

module=models.CharField(max_length=65,null=True)

sql_text=models.CharField(max_length=1000)

def __str__(self):

return self.tnsname

class Meta:

app_label='monitor'

class oracle_topevent(models.Model):

ipaddress=models.GenericIPAddressField()

tnsname=models.CharField(max_length=50)

sql_time=models.CharField(max_length=100)

event_name=models.CharField(max_length=100)

total_waits=models.BigIntegerField(blank=True)

total_timeouts=models.BigIntegerField(blank=True)

wait_time=models.BigIntegerField(blank=True)

def __str__(self):

return self.tnsname

class Meta:

app_label='monitor'

1.2 创建数据库表

[oms@LProAP-MONITOR1 mysite]$ python manage.py makemigrations

[oms@LProAP-MONITOR1 mysite]$ python manage.py migrate

1.3 添加至admin管理

vim admin.py

from django.contrib import admin

# Register your models here.

from monitor.models import oraclelist

from monitor.models import oraclestatus

from monitor.models import oracle_buffergets

from monitor.models import oracle_diskreads

from monitor.models import oracle_elapsedtime

from monitor.models import oracle_cputime

from monitor.models import oracle_topevent

from monitor.models import linuxlist

admin.site.register(oraclelist)

admin.site.register(oraclestatus)

admin.site.register(oracle_buffergets)

admin.site.register(oracle_diskreads)

admin.site.register(oracle_elapsedtime)

admin.site.register(oracle_cputime)

admin.site.register(oracle_topevent)

admin.site.register(linuxlist)

以上就完成了表的创建，一些字段的解释如下:

ipaddress:Oracle数据库的IP地址

tnsname:Oracle数据库的TNS名称

sql_time:该语句获取到的时间

sql_id:Oracle SQL语句的SQL ID,由于我这有9i的库，所以实际捞取的是hash_value的值

executions:Oracle SQL 语句的执行次数

elapsed_time:Oracle SQL 语句执行的时间

module:Oracle SQL 语句执行的模块

sql_text:Oracle SQL 语句的文本(这里从空间空间考虑，只截取前40个字符)

event_name:等待事件的名称

total_waits:等待事件等待的次数

total_timeouts:等待事件超时次数

wait_time:等待事件等待的时间

2. 编写自定义命令获取指标并存入数据库

如何创建自定义命令请参考:

2.1 主体程序

这里我们用oracle_topsql_mysql.py程序来获取Oracle TOP SQL

vim monitor/management/commands/oracle_topsql_mysql.py

#coding=utf-8

from django.core.management.base import BaseCommand

from django.contrib.contenttypes.models import ContentType

import os

import cx_Oracle

import time

from monitor.command.sendmail_phone import *

from monitor.command.getoracleinfo_topsql import *

class Command(BaseCommand):

def handle(self, *args, **options):

ip=oraclelist.objects.all().order_by('tnsname')

#sql_time=str(time.time()).split('.')[0]

sql_time=str(time.mktime(time.strptime(time.strftime('%Y%m%d %H', time.localtime()),'%Y%m%d %H'))).split('.')[0]

for i in ip:

ipaddress1=i.ipaddress

username=i.username

password=i.password

port=i.port

tnsname1=i.tnsname

try:

db = cx_Oracle.connect(username+'/'+password+'@'+ipaddress1+':'+port+'/'+tnsname1 ,mode=cx_Oracle.SYSDBA)

cursor = db.cursor()

buffergets=getbuffergets(cursor)

cputime=getcputime(cursor)

topevent1=gettopevent(cursor)

cursor.close()

db.close()

for j in buffergets:

sql_id=j[0]

buffer_gets=j[1]

executions=j[2]

cpu_time=j[3]

sql_text=j[6]

insert.save()

#print ('ss')

disk_reads=k[1]

executions=k[2]

cpu_time=k[3]

elapsed_time=k[4]

module=k[5]

sql_text=k[6]

insert=oracle_diskreads(ipaddress=ipaddress1,tnsname=tnsname1,sql_time=sql_time,sql_id=sql_id,cpu_time=cpu_time,elapsed_time=elapsed_time,executions=executions,disk_reads=disk_reads,module=module,sql_text=sql_text)

insert.save()

for l in elapsedtime:

sql_id=l[0]

executions=l[2]

cpu_time=l[3]

elapsed_time=l[1]

module=l[4]

sql_text=l[5]

insert=oracle_elapsedtime(ipaddress=ipaddress1,tnsname=tnsname1,sql_time=sql_time,sql_id=sql_id,cpu_time=cpu_time,elapsed_time=elapsed_time,executions=executions,module=module,sql_text=sql_text)

insert.save()

for m in cputime:

sql_id=m[0]

executions=m[2]

cpu_time=m[1]

elapsed_time=m[3]

module=m[4]

sql_text=m[5]

insert=oracle_cputime(ipaddress=ipaddress1,tnsname=tnsname1,sql_time=sql_time,sql_id=sql_id,cpu_time=cpu_time,elapsed_time=elapsed_time,executions=executions,module=module,sql_text=sql_text)

insert.save()

for n in topevent1:

event_name=n[0]

total_waits=n[1]

total_timeouts=n[2]

wait_time=n[3]

insert=oracle_topevent(ipaddress=ipaddress1,tnsname=tnsname1,sql_time=sql_time,event_name=event_name,total_waits=total_waits,total_timeouts=total_timeouts,wait_time=wait_time)

insert.save()

except Exception as e:

content= (i.ipaddress+' is Unreachable,The reason is '+str(e)).strip()

send_mail_phone(to_list,'Oracle Performance Monitor Exception Occured',content)

print( content)

2.2 调用的函数

上面主体程序调用了一些函数用于从Oracle数据库获取必要的数据

文件路径为monitor/command/getoracleinfo_topsql.py

这里选取几个，具体的参见我的github主页,可根据实际情况进行调整

def getbuffergets(cursor):

s=cursor.execute('select hash_value, abs(buffer_gets),abs(executions) ,abs(cpu_time),abs(elapsed_time),module,substr(sql_text,0,40) from v$sqlarea where abs(buffer_gets)>100000')

row=s.fetchall()

return row

def getdiskreads(cursor):

s=cursor.execute('select hash_value, abs(disk_reads),abs(executions) ,abs(cpu_time),abs(elapsed_time),module,substr(sql_text,0,40) from v$sqlarea where abs(disk_reads)>100000')

row=s.fetchall()

return row

def gettopevent(cursor):

s=cursor.execute('select event,abs(total_waits),abs(total_timeouts),abs(time_waited) from v$system_event')

row=s.fetchall()

return row

这个程序讲解如下:

先从oraclelist表中获取信息

然后遍历每个数据库，当monitor_type为1和performance_type为1时继续

利用取出来的信息连接数据库，当连接成功后执行相应的程序获取TOP SQL数据，获取完成后关闭数据库连接

接下来采用insert/save方法保存到MySQL数据库中

2.3 一些注意事项

由于我有9i的库，所以统一抓取hash_value

各个函数的内容请自行查看源代码，很容易理解

由于出现过负数的情况所以采用了abs函数

这里调用了send_mail函数用于程序运行异常时通知我

3. 最终结果

使用如下命令运行

/usr/bin/python /home/oms/mysite/manage.py oracle_topsql_mysql

可以看出数据库的信息已经保存在MySQL数据库中了

4. 设置自动运行

这里我们设置每小时执行一次，并重定向所有日志至一个文件

这样我们可以通过检查该日志文件判断脚本是否正常运行

0 * * * * /usr/bin/python /home/oms/mysite/manage.py oracle_topsql_mysql >>/home/oms/mysite/crontab.log 2>&1

5. 源代码位置

好了，这节介绍了如何利用自定义命令获取Oracle数据库的性能指标并保存在MySQL数据库中

下节介绍如何将这些数据展示在一个页面上

详细请点击阅读原文: