mysql插入数据优化 golang实现

mysql 插入数据优化总结

问题
最近遇到一个场景，需要插入200万条数据到mysql，一开始不熟悉gorm，直接使用create()方法插入数据，没有使用并发，事务，批量处理等操作，导致插入1万条数据需要将近1分钟的时间。所以后面简单查了下博客，做了些优化，这里总结一下。仅是个人学习，有错误还望指出。

	**整体的优化顺序是添加事务->批量处理->并发->修改存储引擎->设置连接池数量。**

详细内容

• 事务：
  使用事务可以提高数据的插入效率，这是因为进行一个INSERT操作时，MySQL内部会建立一个事务，在事务内进行真正插入处理。通过使用事务可以减少数据库执行插入语句时多次“创建事务，提交事务”的消耗，所有插入都在执行后才进行提交操作。

• 批量插入：
  一是减少SQL语句解析的操作， 只需要解析一次就能进行数据的插入操作，二是SQL语句较短，可以减少网络传输的IO

• 并发：
  可以起多个协程并发执行插入语句。

• 存储引擎：
  myisam相比innodb插入数据更快，可以插入数据的时候使用myisam，插入完成之后将表改成innodb，不过myisam不支持事务、不支持外键等，需要综合考虑选择存储引擎。

• 设置连接