业务场景:项目需要将每个任务执行生成的日志信息存入数据库,日志从几百字符到千万字符不等,在任务结束前,需要将日志信息暂存在内存中;
存放日志信息方式考虑使用以下几种方式:
1.直接使用字符串存放,新增日志叠加到字符串上,最后将这个字符串作为变量写入数据库;
2.每次写日志都将信息存入队列(queue)中,执行完毕后再依次取出,存入数据库;
3.每次写日志都将信息存入数组(list)中,执行完毕后通过’'.join(list)取出,存入数据库;
通过以下python代码验证这三种方式执行效率:
import time,queue
def strAdd(count):
a=''
startTime=time.time()
for i in range(count):
a=a+'11111111111111111111111111111111\n'
print('字符串累加:',time.time()-startTime)
def ListAdd(count):
a=[]
startTime=time.time()
for i in range(count):
a.append('11111111111111111111111111111111\n')
print('数组存放:',time.time()-startTime)
def QueueAdd(count):
a=queue.Queue()
startTime=time.time()
for i in range(count):
a.put('11111111111111111111111111111111\n')
while not a.empty() :
a.get_nowait()
print('队列存放:',time.time()-startTime)
count=500000
strAdd(count)
ListAdd(count)
QueueAdd(count)
执行结果为:
字符串累加: 9.063907623291016
数组存放: 0.03499865531921387
队列存放: 1.870922565460205
结论:在需要暂存的文本数据量较大时,直接用字符串相加的方式在数据量较大的时候效率极低,而通过数组存放的效率最高。