Mysql 数据库批量插入百万级别数据库配置 (show VARIABLES )

问题背景: 最近有一个需求,要执行一个定时任务,多表连接查询后结果要插入到目标表中。如果是少量数据应该没问题,但是考虑到后期的数据量的增加,可能会有十万甚至百万级别的数据同时插入,就不得不考虑效率和数据库承载能力的问题了。

实现方式:通过sql 语句,直接在sql 中写业务逻辑。

此方式是把业务逻辑写在 SQL (insert into() table select from table2 ) ,
* 优点:直接操作数据库,执行效率高。
* 缺点:如果数据量超过1W+ 时候,数据库日志可能会抛出异常。

解决方案重点内容

 * 1:查看数据库参数配置 Mysql > SHOW VARIABLES;
 *  2:配置my.ini文件   文件中配置(具体参数可以根据数据量大小配置)    bulk_insert_buffer_size=120M 或者更大 ,将insert语句的长度设为最 大。Max_allowed_packet=1M。Net_buffer_length=8k。

详细分析

评论
添加红包

请填写红包祝福语或标题

红包个数最小为10个

红包金额最低5元

当前余额3.43前往充值 >
需支付:10.00
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明:

1.余额是钱包充值的虚拟货币,按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载,可以购买VIP、付费专栏及课程。

余额充值