批量插入测试

<insert id="insterSecurityPL" parameterType="java.util.List" >
    insert into base_syslog_security(asset_id,type,d_ip,d_port,s_ip,s_port,account,common_des,tag,operation_class,operation_result,operation_des,
    raw_log,severity,risk_grade,risk_type,risk_des,happen_time,status,create_time) values
    <foreach  collection="list" index="index" item="item"  separator=",">
    (
        #{item.asset_id}, #{item.type}, #{item.d_ip}, #{item.d_port}, #{item.s_ip}, #{item.s_port}, #{item.account},
        #{item.common_des}, #{item.tag}, #{item.operation_class}, #{item.operation_result}, #{item.operation_des}, #{item.raw_log}, #{item.severity},
        #{item.risk_grade}, #{item.risk_type}, #{item.risk_des}, #{item.happen_time}, #{item.status},NOW()
    )
    </foreach>
</insert>

 

10000

单条执行了：18秒！

批量执行了：2秒！

 

max_allowed_packet  最大允许包

innodb_buffer_pool_size 缓存区大小

 

修改后的插入操作能够提高程序的插入效率。这里第二种SQL执行效率高的主要原因是: (1)通过合并SQL语句，同时也能减少SQL语句解析的次数，减少了数据库连接的I/O开销，一般会把多条数据插入放在一条SQL语句中一次执行; (2)合并后日志量（MySQL的binlog和innodb的事务让日志）减少了，降低日志刷盘的数据量和频率，从而提高效率。