Db2测试单表插入速度一段通用程序

首先，还是通过export命令将某表数据导出为del格式

1. -- Start of generated script for 192.168.0.85-INFO85-INFOSPY (db2inst1)
2. --  Oct-11-2008 at 14:53:28
4. EXPORT TO 'C:/DATA_WHITELISTS_R.del' OF DEL
5.   SELECT * FROM "DB2INST1"."DATA_WHITELISTS_R";
7. #SYNC 10;
11. -- End of generated script for 192.168.0.85-INFO85-INFOSPY (db2inst1)

通过以下程序，将这个del格式的数据进行分离

 

1. # -*- coding: cp936 -*-
2. #===============================================================================
3. #开发需求：与数据时间片分析工具共同使用，该程序主要用来分析数据表del文件
4. #1.可将del数据源文件，按照时间分割为新的数据文件
5. #2.可将del数据源文件，按字定义大小进行分割split_record
6. #===============================================================================
7. import os,time
8. #需要分析的del文件名
9. DelName = "DATA_ALARM_BA.del"
10. path = os.getcwd()+"/%s" % (DelName)
11. #分析后的输出路径
12. os.system("mkdir Analyse")
13. analyse_path = os.getcwd()+r"/Analyse"
14. #每个文件分割的大小
15. split_record = 10000
16. #需要分析的时间字段，比如是按del第4列数据，进行日期数据分割
17. split_filed = 4
18. DataObject = open(path,'r')
19. Data_List = DataObject.readlines()
20. print "共需要转换的总次数：",int(len(Data_List)/split_record),"表总数：",int(len(Data_List))
21. for i in range(len(Data_List)):
22.     datatime = ""
23.     for y in Data_List[i].split(',')[split_filed][1:11].split('-'):
24.         datatime += y
25.         global temp
26.         temp = datatime
27.     if int(datatime)-int(temp) <> 0:
28.         print os.getcwd()
29.         os.system("md Analyse//%s" % (datatime))
30.         newpath = "%s//%s//%s%s_%s.del" % (analyse_path,datatime,DelName[:-4],temp,str("%04d" % (i/split_record)))
31.         list = open(newpath,'a')
32.         list.writelines(Data_List[i])
33.     else:
34.         print os.getcwd()
35.         print temp
36.         os.system("md Analyse//%s" % (temp))
37.         newpath = "%s//%s//%s%s_%s.del" % (analyse_path,temp,DelName[:-4],datatime,str("%04d" % (i/split_record)))
38.         list = open(newpath,'a')
39.         list.writelines(Data_List[i])
40. print "转化成功"

将上段py脚本与导出DATA_ALARM_BA.del文件放置在一个目录下，分析后会创建Analyse目录

请将数据，进行手工分离：

在Analyse目录下创建时间格式为2008-10-10为例的文件夹，将分离后的分析数据归档

 

使用以下脚本开始分析数据：需要自行定义以下参数：

#1.设定一个分析时间片,单位为分钟，AnalyseTimeArea，默认为5分钟
#2.可设定需要分析数据库表所在字段，AnalyseField，默认为第四个字段(时间字段请确认)

 

1. #!/usr/bin/env python
2. #-*- coding: cp936 -*-
3. #===============================================================================
4. #开发需求：与数据分离工具共同使用，该程序主要用来分析单位时间的单表入库平均值
5. #1.设定一个分析时间片,单位为分钟，AnalyseTimeArea
6. #2.可设定需要分析数据库表所在字段，AnalyseField
7. #===============================================================================
8. import threading,os,time
10. class ReadConfig():
12.     def Base_Config(self):
14.         #配置话单路径
15.         TelPath = os.getcwd()+"//Analyse"
16.         #print TelPath
17.         return TelPath
20. class GetPath(ReadConfig):
22.     def Get_Path(self):
24.         #获取路径下分析文件，建立字典
25.         dict = {}
26.         dir_temp = []
27.         file_temp = []
28.         basepath = self.Base_Config()
29.         #print basepath
30.         for root, dirs, files in os.walk(self.Base_Config()):
31.             #获取文件夹节点，获取文件夹对应文件
32.             for dir in dirs:
33.                 dir_temp.append(dir)
34.         dir_temp.sort()
35.         for i in dir_temp:
36.             #print self.Base_Config()+"//"+str(i)
37.             for root, dirs, files in os.walk(self.Base_Config()+"//"+str(i)):
38.                 #获取对应文件夹下的数据
39.                 file_temp.append(files)
40.         for i in range(len(dir_temp)):
41.             #建立数据字典
42.             dict[dir_temp[i]] = file_temp[i]
43.         return basepath,dict
45. class ThreadMain(threading.Thread,GetPath):
47.     def __init__(self):
49.         #设定一个分析时间片,单位为分钟
50.         self.AnalyseTimeArea = 5
51.         #需要分析数据库表所在字段
52.         self.AnalyseField = 4
53.         basepath,dict = self.Get_Path()
54.         #print basepath,dict
55.         self.dict = dict
56.         self.basepath = basepath
58.     def Thread_Contorl(self):
60.         #读取字典的索引，索引为文件夹节点self.dict.keys()[i]
61.         self.Add_Tel_Path_temp2 = []
62.         #print self.dict.keys()
63.         for i in range(len(self.dict.keys())):
64.             self.Add_Tel_Path_temp1 = []
65.             #print self.dict.keys()[i],self.dict[self.dict.keys()[i]]
66.             for y in range(len(self.dict[self.dict.keys()[i]])):
67.                 #print self.dict.keys()[i],self.dict[self.dict.keys()[i]]
68.                 #print len(self.dict[self.dict.keys()[i]])
69.                self.Add_Tel_Path =  self.basepath+"//"+self.dict.keys()[i]+"//"+self.dict[self.dict.keys()[i]][y]
70.                self.Add_Tel_Path_temp1.append(self.Add_Tel_Path)
71.             #print Add_Tel_Path_temp1
72.             self.Add_Tel_Path_temp2.append(self.Add_Tel_Path_temp1)
73.         #Add_Tel_Path_temp2得到已文件夹节点分类数组，格式如下[[2008-3-8],[2008-3-10],[2008-3-9]]
74.         return self.Add_Tel_Path_temp2
76.     #================================================================================
77.     # 已文件夹为单位进行时间分割计算每日的话单总流量
78.     # Method Name：AnalyseMethod_Countdayflow
79.     # Author：xinkai Add:2008-3-10
80.     #================================================================================
81.     def AnalyseMethod_Countdayflow(self):
83.         self.CountFlow = 0
84.         #由线程类获得分析数组
85.         self.AnalyseList = self.Thread_Contorl()
86.         #print AnalyseList
87.         for i in range(len(self.AnalyseList)):
88.             #print self.dict.keys()[i],AnalyseList[i]
89.             #===============================================================================
90.             #            此处需要加判断日期以及有效话单
91.             #===============================================================================
92.             for y in range(len(self.AnalyseList[i])):
93.                 #print AnalyseList[i][y]
94.                 self.AnalyseData = open(self.AnalyseList[i][y],'r')
95.                 #self.CountFlow += len(self.AnalyseData.readlines())
96.                 print "执行过程[ %s ]：第%s文件大小为%s文件" % (self.dict.keys()[i],y,len(self.AnalyseData.readlines()))
97.                 self.CountFlow += len(self.AnalyseData.readlines())
98.                 #print self.dict.keys()[i]+str(len(AnalyseData.readlines()))+"/n"
99.             #print "[",self.dict.keys()[i]+" ]当日数据总流量为:"+str(self.CountFlow)
101.     #================================================================================
102.     # 已文件夹为单位进行时间分割按照划定的时间片对每日话单分时流量进行统计
103.     # Method Name：AnalyseMethod_CountTimeFlow
104.     # Author：xinkai Add:2008-3-10
105.     #================================================================================
106.     def AnalyseMethod_CountTimeFlow(self):
108.         #Analyse_CountTimeFlow = open('Analyse_CountTimeFlow.log','w')
109.         #由线程类获得分析数组
110.         self.AnalyseList = self.Thread_Contorl()
111.         for i in range(len(self.AnalyseList)):
112.             temp = []
113.             self.AnalyseStack = []
114.             self.AnalyseStackSend = []
115.             for y in range(len(self.AnalyseList[i])):
116.                 #已时间文件夹为分割点，分类读取话单进行分析
117.                 #用来计算每个文件中每个话单记录的时间堆栈
118.                 self.AnalyseData = open(self.AnalyseList[i][y],'r')
119.                 self.AnalyseStackSend.append(self.AnalyseData.readlines())
120.                 #用来计算基础时间轴的堆栈AnalyseStack
121.                 self.AnalyseData = open(self.AnalyseList[i][y],'r')
122.                 self.AnalyseStack.append(self.AnalyseData.readlines()[0])
123.             #已文件夹时间点分割，获取基础时间轴
124.             self.BaseTimeCenter = self.AnalyseStack[0].split(',')[self.AnalyseField]
125.             #转化话单发送时间为整数
126.             self.ChangeBaseTime = self.ChageTime(self.BaseTimeCenter)
127.             for h in range(len(self.AnalyseList[i])):
128.                 for z in self.AnalyseStackSend[h]:
129.                     self.TelTime = self.ChageTime(z.split(',')[self.AnalyseField])
130.                     #print str(self.TelTime)+""+str(self.ChangeBaseTime)
131.                     import math
132.                     #获得已基础时间为轴的时间差值
133.                     #print int(math.fabs(self.TelTime - self.ChangeBaseTime))/60
134.                     temp.append((int(math.fabs(self.TelTime - self.ChangeBaseTime))/60) / self.AnalyseTimeArea)
135.             #Analyse_CountTimeFlow.writelines("话单时间:%s/n初始时间片    时间片    分时流量/n" % (self.dict.keys()[i]))
136.             #Analyse_CountTimeFlow.close()
137.             print self.BaseTimeCenter[1:11]
138.             for j in range(1440/int(self.AnalyseTimeArea)):
139.                 if temp.count(j) <> 0:
140.                     #Analyse_CountTimeFlow = open('Analyse_CountTimeFlow.log','a')
141.                     print "分析日期:%s ; 分析时间片:%s分钟 ; 第%s时间片 ; 分时流量为%s条 ;" % (self.BaseTimeCenter[1:11],self.AnalyseTimeArea,j,temp.count(j))
142.                     #Analyse_CountTimeFlow.writelines("%s    %s    %s/n" % (self.AnalyseTimeArea,j,temp.count(j)))
144.     def ChageTime(self,datatime):
146.         #初始化变量
147.         self.YearMD = ""
148.         self.TimeCS = ""
150.         #引用时间参数
151.         self.datatime = datatime
152.         self.SplitDataTime2 = self.datatime[1:11].split('-')
153.         self.SplitDataTime3 = self.datatime[12:20].split('.')
154.         #分割结果['2008', '03', '10'] ['11', '18', '18']
156.         #组合分割数据转换时间为整数
157.         for i in self.SplitDataTime2:
158.             self.YearMD += i
159.         for h in self.SplitDataTime3:
160.             self.TimeCS += h
161.         self.newTime = self.YearMD + self.TimeCS
162.         return int(self.newTime)
164.     def __del__(self):
165.         pass
167. class ControlThread(ThreadMain):
169.     def __init__(self):
171.         basepath,dict = self.Get_Path()
172.         self.dict = dict
173.         self.basepath = basepath
175.     def Control_Thread(self):
177.         #控制使用分析线程
178.         print "-----------------------------------------"
179.         ObjectThread = ThreadMain()
180.         print "开始计算每日流量："
181.         ObjectThread.AnalyseMethod_Countdayflow()
182.         print "计算结束"
183.         print "-----------------------------------------"
184.         import time
185.         time.sleep(0.01)
186.         print "开始计算分时流量："
187.         ObjectThread.AnalyseMethod_CountTimeFlow()
188.         print "计算结束"
189.         print "-----------------------------------------"
191. if __name__ == "__main__":
193.     ObjectControl = ControlThread()
194.     ObjectControl.Control_Thread()
195.     #path = ReadConfig(path)

这里的重点，你可以根据自己数据的特点，重新定义。

        self.SplitDataTime2 = self.datatime[1:11].split('-')
        self.SplitDataTime3 = self.datatime[12:20].split('.')
        #分割结果['2008', '03', '10'] ['11', '18', '18']

 

运行程序后，会生成以下日志：

 

1. 分析后数据如下：
2. -----------------------------------------
3. 开始计算每日流量：
4. 执行过程[ 20080930 ]：第0文件大小为4文件
5. 执行过程[ 20080929 ]：第0文件大小为103文件
6. 计算结束
7. -----------------------------------------
8. 开始计算分时流量：
9. 2008-09-30
10. 分析日期:2008-09-30 ; 分析时间片:5分钟 ; 第0时间片 ; 分时流量为4条 ;
11. 2008-09-29
12. 分析日期:2008-09-29 ; 分析时间片:5分钟 ; 第0时间片 ; 分时流量为95条 ;
13. 分析日期:2008-09-29 ; 分析时间片:5分钟 ; 第1时间片 ; 分时流量为4条 ;
14. 分析日期:2008-09-29 ; 分析时间片:5分钟 ; 第2时间片 ; 分时流量为4条 ;
15. 计算结束
16. -----------------------------------------