sqlite大量数据插入的优化

最近项目中实现一个日志系统需要用到sqlite,将所有的日志文件存放到本地后,由集群统一的日志管理中心收集处理.

之前是将日志记录到文件中,但提取不太方便,所以最后决定记录到sqlite中.由于要支持比较大的并发,所以在架构以及sqlite语句的处理方面都进行了比较大的优化,这里主要是针对大量数据记录到sqlite中的方法,语言是python.

大数据会首先记入到一个内存队列中,异步写进数据库.

写入的优化,主要如下:

            insert_data = []
            for temp in self.module[tmp]:
                temp = self._entry_init(temp)
                data = (temp.owner, temp.log_type, temp.log_mesg, temp.filename, temp.line,  temp.time, temp.host)
                insert_data.append(data)
            self.module[tmp] = []
            global_info.LOG_CONNS[tmp].insert_many(
                    "INSERT INTO services_log (owner,  type, log_msg, filename, line, time, host)\
                    values(?,?,?,?,?,?,?)" , insert_data)
            global_info.LOG_CONNS[tmp].commit()