mysql插入数据优化 golang实现

最新推荐文章于 2025-01-17 12:15:00 发布

（追梦在路上）

最新推荐文章于 2025-01-17 12:15:00 发布

阅读量854

点赞数

分类专栏： golang

本文链接：https://blog.csdn.net/qq_37863083/article/details/118912094

版权

本文总结了在Golang中优化MySQL数据插入的方法，包括使用事务、批量插入、并发执行和选择合适的存储引擎。通过这些优化，可以显著提高插入200万条数据的效率，例如从1万条数据近1分钟缩短至更短时间。同时提到了设置连接池的重要性，以减少TCP连接的创建和关闭。

摘要由CSDN通过智能技术生成

mysql 插入数据优化总结
在这里插入图片描述
问题
最近遇到一个场景，需要插入200万条数据到mysql，一开始不熟悉gorm，直接使用create()方法插入数据，没有使用并发，事务，批量处理等操作，导致插入1万条数据需要将近1分钟的时间。所以后面简单查了下博客，做了些优化，这里总结一下。仅是个人学习，有错误还望指出。

	**整体的优化顺序是添加事务->批量处理->并发->修改存储引擎->设置连接池数量。**

详细内容

事务：
使用事务可以提高数据的插入效率，这是因为进行一个INSERT操作时，MySQL内部会建立一个事务，在事务内进行真正插入处理。通过使用事务可以减少数据库执行插入语句时多次“创建事务，提交事务”的消耗，所有插入都在执行后才进行提交操作。
批量插入：
一是减少SQL语句解析的操作，只需要解析一次就能进行数据的插入操作，二是SQL语句较短，可以减少网络传输的IO
并发：
可以起多个协程并发执行插入语句。
存储引擎：
myisam相比innodb插入数据更快，可以插入数据的时候使用myisam，插入完成之后将表改成innodb，不过myisam不支持事务、不支持外键等，需要综合考虑选择存

最低0.47元/天解锁文章