2017-08-08 DBA日记，使用python模拟高并发访问数据库

一、目的

1.1 简单快速完成定制高并发模拟

1.2 监控高并发情况数据库的资源表现

1.3 观察不同的高并发数对数据库的影响

二、设计思路

2.1  利用python的多线程包，模拟高并发数据库操作，并监控相关资源使用。

三、代码

#-*-coding=utf8 -*- import  threading import  cx_Oracle import  time import  paramiko #全局变量，用于控制监控进程的退出 T_status = True   def  CC_ins():      try :          conn = cx_Oracle.connect( 'dbuser' , 'password' , 'Tnsnames' )          cur = conn.cursor()          #cur.execute('call dm.qqtproc1()')          cur.callproc( 'dm.qqtproc1' )      except  Exception as e:          print  e          print  'ora'      else :          print  'insert successful!' #采集数据库事件函数 def  Mon_event():      global  T_status      try :          conn = cx_Oracle.connect( 'dbuser' , 'password' , 'Tnsnames' )          cur = conn.cursor()      except  Exception as e:          print  e      while  T_status = = True :          try :              print  T_status              cur.execute( 'select event from gv$session where username=\'HQQ\'' )              rows = cur.fetchall()              for  row  in  rows:                  print  row              #cur.callproc('dm.qqtproc1')          except  Exception as e:              print  e              print  'ora'          else :              print  'successful!'                  time.sleep( 1 ) #采集os资源的函数 def  Mon_os():      global  T_status      try :          ssh = paramiko.SSHClient()          ssh.set_missing_host_key_policy(paramiko.AutoAddPolicy())          ssh.connect(username = 'osuser' ,password = 'ospassword' ,hostname = 'os_ip' ,port = 22 )      except  Exception as e:          print  e      while  T_status = = True :                stdin,stdout,stderr = ssh.exec_command( 'sar 1 1' )          lines = stdout.readlines()          print  lines[ - 1 ]          time.sleep( 1 )   if  __name__  = =  '__main__' :      CC_qty = raw_input ( "please Concurrency QTY:" )      #CC_qty='20'      T_list = []      if  CC_qty.isdigit() :          for  i  in  range ( int (CC_qty)):              t = threading.Thread(target = CC_ins,args = ())              T_list.append(t)      T_mon = threading.Thread(target = Mon_os,args = ())      T_mon.start()      for  t1  in  T_list:          t1.start()      for  t2  in  T_list:          t2.join()          T_status = False

 

四、加密

代码编写完后，我们可以用python -m py_compile xxx.py

五、效果展示

5.1 模拟30个用户同时向一张表循环插入记录，每插入一条记录，commit；一次

5.2 以下是采集sar数据记录。

六、扩展

我们可以同时采集不同的CPU，IO数据保存到数据库中，作为后续的分析。