sqlserver mysql工作_工作笔记：SQLserver数据导入MySQL

工作中总是遇到SQLserver数据导入到MySQL中的场景，由于业务人员发过来的从SQLserver中导出的数据是txt的，所以要导入到MySQL中，要么就使用导入工具，要么就只能写程序导入了。

两种手段都不能一蹴而就，最后我的解决方法是写程序导入了，也算是无奈之举。如果有好的方法，希望不吝赐教。

方法1、使用MySql自带的导入工具导入。会遇到两个问题：

1

从SqlServer中到出的txt数据文件是以ANSI格式进行编码的，所以直接导入到MySQL中会由于编码问题导致乱码。这里使用EditPlus另存为UTF-8格式即可解决编码问题。

2 数据规整性影响导入效果，由于数据中包含有特殊符号以及空格等字符，且长度不是很规则，所以在使用导入工具时要么报错，要么导入数据不完整。

方法2、写程序导入。会遇到一个问题，java.lang.OutOfMemoryError: Java heap

space.

这个问题主要还是由于数据量比较大(41万条数据)没有及时释放对象空间，而且与MySQL之间的IO次数过多导致的。在使用数据库连接池之后，处理的数据量以及处理速度上都提高不少，但是处理时间还是很长。41万数据大概要处理1个多小时的时间。

关于java.lang.OutOfMemoryError，一方面要减小数据集的大小以及数据量，尽量重复使用对象的引用，不要初始化太多的对象，尽量不在内存中保存过大的对象；另一方面要能够及时的提交数据库事务。减小数据集大小比较好控制，至于及时提交数据库事务，还是要及时释放数据库连接，使用不同的数据库连接提交事务，我使用proxool连接池处理40万数据，如果只是用一个连接进行事务的提交，在处理4万数据之后会立刻抛出java.lang.OutOfMemoryError，即使调整javaVM以及Tomcat堆最大空间也只能延迟这个错误的出现，不能根除，所以在每次进行数据库插入时，都要重新获取数据库连接，并且在使用之后立即释放该链接，即可完成40万数据的插入。

最后还是诚征好的解决方案，欢迎留言。