MYSQL 导入出错从指定行号截取文件(C语言写的)及注意事项

今天同事导入MYSQL的时候遇到错误 导出文件大约200G，在大约1.8w行出错。文件太大用SED读取指定行的时候命令报错，
sed -n ' 18032,$p' sql.sql >sqlnew.sql

如果查看任何信息都非常麻烦，但是
MYSQL报错的时候出现了一个行号，然后大概推算了一下得出了开始的行号，所以使用C写了一个小程序，记录下来

i==18031 是你确定的行号-1 开始。

点击(此处)折叠或打开

1. #include<stdio.h>
   
2. #include<stdlib.h>
   
3. #include <string.h>
   
4. 
   
5. 
   
6. int main(void)
   
7. {
   
8.         FILE* fd1;
   
9.         FILE* fd2;
   
10.         int i=0;
    
11.         char m;
    
12. 
    
13.         char test[4096];
    
14. 
    
15.         if(!(fd1=fopen("reslut.sql","r")))
    
16.         {
    
17.                 printf("file 1 open error!\n");
    
18.                 exit(10);
    
19.         }
    
20.         if(!(fd2=fopen("reslutnew.sql","w+")))
    
21.         {
    
22.                 printf("file 2 open error!\n");
    
23.                 exit(10);
    
24.         }
    
25.         while(1)
    
26.         {
    
27.         if(fgetc(fd1) == '\n')
    
28.          {
    
29.                 i++;
    
30.                 if(i==18031)
    
31.                 {
    
32.                         break;
    
33.                 }
    
34.          }
    
35.         }
    
36.         while(!(feof(fd1)))
    
37.         {
    
38.                 memset(test,0,4096);
    
39.                 fread(test,1000,4,fd1);
    
40.                 fwrite(test,strlen(test),1,fd2);
    
41.         }
    
42. 
    
43.         fclose(fd1);
    
44.         fclose(fd2);
    
45. 
    
46. }

速度还行。
实际上就是根据换行符确定行号然后接着写入。
写入完成后使用sed替换了某些字符
sed -i 's/\*\/\;\;/\*\/\$\$/g'  reslutnew.sql
可以完成，sed取行的时候应该是OOM了。

注意：
1、这样截取没有 use database信息需要自己写一下然后source
2、这样截取MYSQLDUMP语句的头信息肯定没有了要自己写一下
3、注意关闭binlog set sql_bin_log=0;
4、注意设置 innodb_flush_log_at_trx_commit  = 0

关于分开导出表结构和数据 注意事项：
1、表结构中使用--skip-triggers不要导出trigger，因为触发器可能导致数据变化，同时trigger是随表导出的一定要--skip-triggers
       在某些跨版本的情况下routine都不要导出，只要建表建库等语句，注意导出表结构和导出表数据都要--skip-trigger 因为不管
        导出数据还是表结构trigger都会导出
2、MYSQL库会在导入结构的时候插入字典信息，导出数据同样包含了MYSQL的信息，这个时候再往MYSQL插入数据就会报错
     处理就是删除MYSQL数据库
3、在存储过程和触发替换 ;;为$$的过程中因为担心数据中也有这种信息
我们使用如下几次替换：
sed -i 's/\*\/\;\;/\*\/\$\$/g'   替换*/;; 为*/$$
sed -i 's/DELIMITER ;;/DELIMITER $$/g' 替换 DELIMITER ;; 为 DELIMITER $$
sed -i 's/end ;;/end $$/g' 替换 end ;; 为 end $$
4、如果截断了行进行再次导入一定注意加上MYSQLDUMP文件的一些初始的变量设置如：

/*!40101 SET @OLD_CHARACTER_SET_CLIENT=@@CHARACTER_SET_CLIENT */;
/*!40101 SET @OLD_CHARACTER_SET_RESULTS=@@CHARACTER_SET_RESULTS */;
/*!40101 SET @OLD_COLLATION_CONNECTION=@@COLLATION_CONNECTION */;
/*!40101 SET NAMES utf8 */;
/*!40103 SET @OLD_TIME_ZONE=@@TIME_ZONE */;
/*!40103 SET TIME_ZONE='+00:00' */;
/*!40014 SET @OLD_UNIQUE_CHECKS=@@UNIQUE_CHECKS, UNIQUE_CHECKS=0 */;
/*!40014 SET @OLD_FOREIGN_KEY_CHECKS=@@FOREIGN_KEY_CHECKS, FOREIGN_KEY_CHECKS=0 */;
/*!40101 SET @OLD_SQL_MODE=@@SQL_MODE, SQL_MODE='NO_AUTO_VALUE_ON_ZERO' */;
/*!40111 SET @OLD_SQL_NOTES=@@SQL_NOTES, SQL_NOTES=0 */;

5、如果用MYSQL界面导入设置一个 --tee log.log 用于记录插入日志

关于trigger 还有一点要说明：
trigger本生是随表导出的。
也就是不管是after还是before的trigger某个表的触发器都是在
这个表数据insert以后建立，这样既保证了trigger的建立也保证了
数据不会变化，但是如果先导入的是表结构带了trigger那么就打破了
这个原则导致数据乱掉。
看如下dump：
LOCK TABLES `mmmm` WRITE;
/*!40000 ALTER TABLE `mmmm` DISABLE KEYS */;
INSERT INTO `mmmm` VALUES (1);
/*!40000 ALTER TABLE `mmmm` ENABLE KEYS */;
UNLOCK TABLES;
/*!50003 SET @saved_cs_client      = @@character_set_client */ ;
/*!50003 SET @saved_cs_results     = @@character_set_results */ ;
/*!50003 SET @saved_col_connection = @@collation_connection */ ;
/*!50003 SET character_set_client  = utf8 */ ;
/*!50003 SET character_set_results = utf8 */ ;
/*!50003 SET collation_connection  = utf8_general_ci */ ;
/*!50003 SET @saved_sql_mode       = @@sql_mode */ ;
/*!50003 SET sql_mode              = 'STRICT_TRANS_TABLES,NO_ENGINE_SUBSTITUTION' */ ;
DELIMITER ;;
/*!50003 CREATE*/ /*!50017 DEFINER=`root`@`localhost`*/ /*!50003 trigger tri_bb after insert on mmmm
for each row
begin
insert into mmmm1 select count(*) from mmmm;
end */;;
DELIMITER ;
/*!50003 SET sql_mode              = @saved_sql_mode */ ;
/*!50003 SET character_set_client  = @saved_cs_client */ ;
/*!50003 SET character_set_results = @saved_cs_results */ ;
/*!50003 SET collation_connection  = @saved_col_connection */ ;


--
-- Dumping data for table `mmmm2`
--


LOCK TABLES `mmmm2` WRITE;
/*!40000 ALTER TABLE `mmmm2` DISABLE KEYS */;
INSERT INTO `mmmm2` VALUES (1);
/*!40000 ALTER TABLE `mmmm2` ENABLE KEYS */;
UNLOCK TABLES;
/*!50003 SET @saved_cs_client      = @@character_set_client */ ;
/*!50003 SET @saved_cs_results     = @@character_set_results */ ;
/*!50003 SET @saved_col_connection = @@collation_connection */ ;
/*!50003 SET character_set_client  = utf8 */ ;
/*!50003 SET character_set_results = utf8 */ ;
/*!50003 SET collation_connection  = utf8_general_ci */ ;
/*!50003 SET @saved_sql_mode       = @@sql_mode */ ;
/*!50003 SET sql_mode              = 'STRICT_TRANS_TABLES,NO_ENGINE_SUBSTITUTION' */ ;
DELIMITER ;;
/*!50003 CREATE*/ /*!50017 DEFINER=`root`@`localhost`*/ /*!50003 trigger tri_bb1 after insert on mmmm2
for each row
begin
insert into mmmm3 select count(*) from mmmm;
end */;;
DELIMITER ;
/*!50003 SET sql_mode              = @saved_sql_mode */ ;
/*!50003 SET character_set_client  = @saved_cs_client */ ;
/*!50003 SET character_set_results = @saved_cs_results */ ;
/*!50003 SET collation_connection  = @saved_col_connection */ ;


可以看到trigger的建立是在表insert后下一个表以前

来自 “ ITPUB博客 ” ，链接：http://blog.itpub.net/7728585/viewspace-2125234/，如需转载，请注明出处，否则将追究法律责任。

转载于:http://blog.itpub.net/7728585/viewspace-2125234/