数据迁移的收获

之前做过数据库迁移有几种方式；

1。用户登录时处理两个数据库间的数据同步；

2。系统A导入系统B的；当时，我写一个程序；将系统A的数据库读出来；然后取得数据，再写入系统B的数据库中；

但有个缺点就是只能每一1000条的这样导入。过多程序会死掉；

 

下面是其他人的想法；

前阵子做了以个项目4000万条数据，是一个数据库A的数据转移到另一个数据库B， 具体操作步骤是，从A把数据导出TXT文件，数据之间用分割标示标注。 然后写个读取程序读取txt文件重新写SQL文件（就是把数据解析写成SQL语句），每1000条提交一次。 最后用数据库自带的工具执行SQL文件。  数据从txt(700M)转换成SQL文件，大概10分钟左右，SQL文件导入到数据库大概用了6个多小时(2:00-8:20)，并适当做日志记录，如果其中1000条执行有错的话，会记录到日志中，不影响后下面1000条数据的操作。等结束后检查出错的地方，进行补救。  
txt文件内容=ss|bb|cc|;
  1个月一次此次操作，用人工操作，是麻烦一些，但是比较稳当，如果都控制成自动读取的话，数据导入到一半出错，时间也花费了