文本数据暂存方式对比: 字符串累加、队列存放、数组存放

业务场景：项目需要将每个任务执行生成的日志信息存入数据库，日志从几百字符到千万字符不等，在任务结束前，需要将日志信息暂存在内存中；

存放日志信息方式考虑使用以下几种方式：
1.直接使用字符串存放，新增日志叠加到字符串上，最后将这个字符串作为变量写入数据库；
2.每次写日志都将信息存入队列（queue）中，执行完毕后再依次取出，存入数据库；
3.每次写日志都将信息存入数组（list）中，执行完毕后通过’'.join(list)取出，存入数据库；

通过以下python代码验证这三种方式执行效率：

import time,queue

def strAdd(count):
    a=''
    startTime=time.time()
    for i in range(count):
        a=a+'11111111111111111111111111111111\n'
    
    print('字符串累加:',time.time()-startTime)

def ListAdd(count):
    a=[]
    startTime=time.time()
    for i in range(count):
        a.append('11111111111111111111111111111111\n')
    
    print('数组存放:',time.time()-startTime)
 
def QueueAdd(count):
    a=queue.Queue()
    startTime=time.time()
    for i in range(count):
        a.put('11111111111111111111111111111111\n')
    while not a.empty() :
        a.get_nowait()
    print('队列存放:',time.time()-startTime)
    
count=500000
strAdd(count)
ListAdd(count)
QueueAdd(count)

执行结果为：

字符串累加: 9.063907623291016
数组存放: 0.03499865531921387
队列存放: 1.870922565460205

结论：在需要暂存的文本数据量较大时，直接用字符串相加的方式在数据量较大的时候效率极低，而通过数组存放的效率最高。