MySQL LOAD DATA 语句的一些主从一致性测试

最新推荐文章于 2024-04-25 15:04:54 发布
最新推荐文章于 2024-04-25 15:04:54 发布
阅读量637 收藏
点赞数
原文链接：https://ke.qq.com/course/410349
版权

导读

作者：沃趣-罗小波

沃趣科技高级数据库技术专家，主要负责MySQL RDS产品的原型与架构设计。熟悉MySQL体系结构，Innodb存储引擎，喜好专研开源技术，追求完美

与李春、董红禹联合著作《千金良方——MySQL性能优化金字塔法则》一书

现京东优惠活动进行中
劵后价仅需 72.6元

640?wx_fmt=png

购买链接：

https://item.jd.com/12728070.html

本文建议横屏观看，效果更佳

原文目录

 

1、制造测试数据

 

2、read-uncommitted隔离级别

 

2.1. binlog_format=statement

 

2.2. binlog_format=mixed

 

2.3. binlog_format=row

 

3、read-committed隔离级别

 

3.1. binlog_format=statement

 

3.2. binlog_format=mixed

 

3.3. binlog_format=row

 

4、repeatable-read隔离级别

 

4.1. binlog_format=statement

 

4.2. binlog_format=mixed

 

4.3. binlog_format=row

 

5、serializable隔离级别

 

5.1. binlog_format=statement

 

5.2. binlog_format=mixed

 

5.3. binlog_format=row

 

6、总结

背景

  • 机器配置
    * CPU：16 vcpus
    * 磁盘：100G flash卡 data&binlog混用
    * 内存：64G
  • 数据库版本：MySQL 5.7.18
  • 数据库IP信息：主库IP 10.10.30.241，从库IP 10.10.30.250
  • 数据库参数配置：
  • 主库：双一，log_slave_updates，log-bin，secure_file_priv=''，server-id=3306241,binlog_rows_query_log_events=ON,sql_mode='ONLY_FULL_GROUP_BY,STRICT_ TRANS_TABLES,NO_ZERO_IN_DATE,NO_ZERO_DATE,ERROR_FOR_DIVISION_BY_ZERO,NO_AUTO_CREATE_USER,NO_ENGINE_SUBSTITUTION'
  • 从库：双一，log_slave_updates，log-bin，binlog_rows_query_log_events=ON,server-id=3306250,sql_mode='ONLY_FULL_GROUP_BY,STRICT_TRANS_TABLES,NO_ZERO_IN_DATE,NO_ZERO_DATE,ERROR_FOR_DIVISION_BY_ZERO,NO_AUTO_CREATE_USER,NO_ENGINE _SUBSTITUTION'
  • 测试目的：通过示例演示并查看过程中binlog中如何记录load data语句等方式来验证 load data语句如何保证主备复制数据一致性。

    将分别在四种隔离级别下（会话级别修改tx_isolation）针对binlog_format（会话级别修改binlog_format）的三种格式分别进行演示执行load data语句，观察MySQL server层如何处理，主库binlog中如何记录load data语句，备库的binlog中如何如何记录load data语句

    本文假定你已经搭建好了主备复制环境，如果未搭建请先自行搭建主备复制环境

PS：本文仅针对测试目的做验证演示，关于binlog_format三种格式以及事务的四种隔离级别详细 说明请查阅相关资料，本文不做解读
  • binlog_format参考资料： https://dev.mysql.com/doc/refman/5.7/en/replication-formats.html 
  • 事务隔离级别参考资料： https://dev.mysql.com/doc/refman/5.7/en/innodb-transaction-isolation-levels.html

1、制造测试数据

  • 建库

admin@localhost : (none) 07:34:39> create database ifnot exists xiaoboluo;	
Query OK, 1 row affected (0.00 sec)

  • 建表

admin@localhost : (none) 10:04:52> use xiaoboluo	
Database changed	
admin@localhost : xiaoboluo 10:04:57> create table ifnot exists test_load(id intunsignednotnull primary key auto_increment,test varchar(100));	
Query OK, 0 rows affected (0.01 sec)

  • 插入测试数据

admin@localhost : xiaoboluo 10:05:32> insert into test_load(test) values('1'),('2'),('null'),('4');	
Query OK, 4 rows affected (0.01 sec)	
Records: 4Duplicates: 0Warnings: 0	
admin@localhost : xiaoboluo 10:06:01> select* from test_load;	
+----+------+	
| id | test |	
+----+------+	
|  2| 1|	
|  4| 2|	
|  6| null|	
|  8| 4|	
+----+------+	
4 rows inset(0.00 sec)

  • 执行select ...into outifile语句生成load data需要的数据文本文件

admin@localhost : xiaoboluo 10:12:41> select* from test_load into outfile "/tmp/test_load.txt";	
Query OK, 4 rows affected (0.01 sec)	
admin@localhost : xiaoboluo 10:12:42> system cat /tmp/test_load.txt;	
21	
42	
6null	
84

2、read-uncommitted隔离级别

2.1. binlog_format=statement

  • 先在主库中把binlog_format修改为statement，隔离级别修改为read-uncommitted，并刷新主从库binlog

# 主库	
admin@localhost : xiaoboluo 09:37:09> set binlog_format=statement;	
Query OK, 0 rows affected (0.00 sec)	
admin@localhost : xiaoboluo 09:39:24> set tx_isolation='read-uncommitted';	
Query OK, 0 rows affected (0.00 sec)	
admin@localhost : xiaoboluo 09:39:44> flush binary logs;	
Query OK, 0 rows affected (0.01 sec)	
# 从库	
mysql> flush binary logs;	
Query OK, 0 rows affected (0.01 sec)	
mysql>

  • 主库清空表test_load并执行load data语句  

admin@localhost : xiaoboluo 09:39:54> truncate test_load;	
Query OK, 0 rows affected (0.00 sec)	
admin@localhost : xiaoboluo 09:41:13> load data infile '/tmp/test_load.txt'into table test_load;	
ERROR 1665(HY000): Cannot execute statement: impossible to write to binary log since BINLOG_FORMAT = STATEMENT and at least one table uses a storage engine limited to row-based logging. InnoDBis limited to row-logging when transaction isolation level is READ COMMITTED or READ UNCOMMITTED.	
Error(Code1665): Cannot execute statement: impossible to write to binary log since BINLOG_FORMAT = STATEMENT and at least one table uses a storage engine limited to row-based logging. InnoDBis limited to row-logging when transaction isolation level is READ COMMITTED or READ UNCOMMITTED.	
Error(Code1015): Can't lock file (errno: 170 - It is not possible to log this statement)	
admin@localhost : xiaoboluo 09:41:52>

  • 从以上结果中可以看到，在RU隔离级别下，binlog_format设置为statement不允许load data语句执行,从报错信息上可以看到，在RC和RU隔离级别下，binlog只能以row格式记录，所以statement无法记录binlog

  • 查看主库表test_load中的数据

admin@localhost : xiaoboluo 09:41:52> select* from test_load;	
Emptyset(0.00 sec)

  • 从以上结果中可以看到，表数据并没有导入成功，现在解析binlog查看一下

[root@5f1772e3-0c7a-4537-97f9-9b57cf6a04c2 binlog]# ll	
total 196	
-rw-r----- 1 mysql mysql  4916May400:11 mysql-bin.000014	
-rw-r----- 1 mysql mysql  4557May400:12 mysql-bin.000015	
-rw-r----- 1 mysql mysql  5595May409:39 mysql-bin.000016	
-rw-r----- 1 mysql mysql   366May409:41 mysql-bin.000017	
-rw-r----- 1 mysql mysql   884May409:39 mysql-bin.index	
[root@5f1772e3-0c7a-4537-97f9-9b57cf6a04c2 binlog]# mysqlbinlog -vvv --base64-output=decode-rows mysql-bin.000017	
......	
use`xiaoboluo`/*!*/;	
......	
truncate test_load	
/*!*/;	
SET @@SESSION.GTID_NEXT= 'AUTOMATIC'/* added by mysqlbinlog *//*!*/;	
DELIMITER ;	
# End of log file	
......

  • 从上面的结果中可以看到，解析binlog的结果中除了use db和truncate table语句之外，没有其他的操作了，说明并没有数据写入，load data语句被mysql server直接拒绝执行了

2.2. binlog_format=mixed

  • 先在主库中把binlog_format修改为mixed，隔离级别不要动，并刷新主从库binlog

# 主库	
admin@localhost : xiaoboluo 09:44:05> set binlog_format=mixed;	
Query OK, 0 rows affected (0.00 sec)	
admin@localhost : xiaoboluo 09:49:49> flush binary logs;	
Query OK, 0 rows affected (0.01 sec)	
# 从库	
mysql> flush binary logs;	
Query OK, 0 rows affected (0.01 sec)	
mysql>

  • 主库清空表test_load并执行load data语句

admin@localhost : xiaoboluo 09:49:57> truncate test_load;	
Query OK, 0 rows affected (0.01 sec)	
admin@localhost : xiaoboluo 09:51:12> load data infile '/tmp/test_load.txt'into table test_load;	
Query OK, 4 rows affected (0.00 sec)	
Records: 4Deleted: 0Skipped: 0Warnings: 0

  • 从以上结果中可以看到，在RU隔离级别下，binlog_format设置为mixed允许load data语句执行

  • 查看主库表test_load中的数据

admin@localhost : xiaoboluo 09:51:24> select* from test_load;	
+----+------+	
| id | test |	
+----+------+	
|  2| 1|	
|  4| 2|	
|  6| null|	
|  8| 4|	
+----+------+	
4 rows inset(0.00 sec)

  • 从以上结果中可以看到，表数据导入成功，现在解析binlog查看一下

[root@5f1772e3-0c7a-4537-97f9-9b57cf6a04c2 binlog]# ll	
total 196	
-rw-r----- 1 mysql mysql  4916May400:11 mysql-bin.000014	
-rw-r----- 1 mysql mysql  4557May400:12 mysql-bin.000015	
-rw-r----- 1 mysql mysql  5595May409:39 mysql-bin.000016	
-rw-r----- 1 mysql mysql   366May409:41 mysql-bin.000017	
-rw-r----- 1 mysql mysql   744May409:51 mysql-bin.000018	
-rw-r----- 1 mysql mysql   936May409:49 mysql-bin.index	
[root@5f1772e3-0c7a-4537-97f9-9b57cf6a04c2 binlog]# mysqlbinlog -vv --base64-output=decode-rows mysql-bin.000018	
# at 259	
#170504  9:51:12 server id 3306241  end_log_pos 354 CRC32 0xff83f0ce Query thread_id=155 exec_time=0 error_code=0	
use`xiaoboluo`/*!*/;	
......	
truncate test_load	
......	
BEGIN	
/*!*/;	
# at 501	
#170504  9:51:24 server id 3306241  end_log_pos 583 CRC32 0xfef1767a Rows_query	
# load data infile '/tmp/test_load.txt' into table test_load  # 这里可以看到load data语句在这里，这里是开启了参数binlog_rows_query_log_events=ON之后记录的原生sql，默认被加了注释，主备复制不会执行	
# at 583	
#170504  9:51:24 server id 3306241  end_log_pos 643 CRC32 0x349b62a4 Table_map: `xiaoboluo`.`test_load` mapped to number 340	
# at 643	
#170504  9:51:24 server id 3306241  end_log_pos 713 CRC32 0x4ceacc10 Write_rows: table id 340 flags: STMT_END_F	
### INSERT INTO `xiaoboluo`.`test_load`  #这里是用于主备复制的数据变更日志，可以看到在mixed格式下被转换为了row格式	
### SET	
###   @1=2 /* INT meta=0 nullable=0 is_null=0 */	
###   @2='1' /* VARSTRING(300) meta=300 nullable=1 is_null=0 */	
### INSERT INTO `xiaoboluo`.`test_load`	
### SET	
###   @1=4 /* INT meta=0 nullable=0 is_null=0 */	
###   @2='2' /* VARSTRING(300) meta=300 nullable=1 is_null=0 */	
### INSERT INTO `xiaoboluo`.`test_load`	
### SET	
###   @1=6 /* INT meta=0 nullable=0 is_null=0 */	
###   @2='null' /* VARSTRING(300) meta=300 nullable=1 is_null=0 */	
### INSERT INTO `xiaoboluo`.`test_load`	
### SET	
###   @1=8 /* INT meta=0 nullable=0 is_null=0 */	
###   @2='4' /* VARSTRING(300) meta=300 nullable=1 is_null=0 */	
# at 713	
#170504  9:51:24 server id 3306241  end_log_pos 744 CRC32 0xfa76965b Xid = 1237	
COMMIT/*!*/;	
SET @@SESSION.GTID_NEXT= 'AUTOMATIC'/* added by mysqlbinlog *//*!*/;	
DELIMITER ;	
# End of log file	
/*!50003 SET COMPLETION_TYPE=@OLD_COMPLETION_TYPE*/;	
/*!50530 SET @@SESSION.PSEUDO_SLAVE_MODE=0*/;

  • 从上面解析binlog的结果中可以看到，数据写入成功，load data语句被转换为row格式记录在binlog中

  • 查看备库中数据是否正确复制

mysql> use xiaoboluo	
Reading table information for completion of table and column names	
You can turn off this feature to get a quicker startup with-A	
Database changed	
mysql> select* from test_load;	
+----+------+	
| id | test |	
+----+------+	
|  2| 1|	
|  4| 2|	
|  6| null|	
|  8| 4|	
+----+------+	
4 rows inset(0.00 sec)

  • 解析备库binlog中是如何记录的load data语句

[root@e710d318-d5b4-4bc7-a606-d09f06ff5f5d binlog]# ll	
total 100	
-rw-r----- 1 mysql mysql   990May101:36 mysql-bin.000001	
-rw-r----- 1 mysql mysql 54766May400:02 mysql-bin.000002	
-rw-r----- 1 mysql mysql 21376May409:40 mysql-bin.000003	
-rw-r----- 1 mysql mysql   401May409:50 mysql-bin.000004	
-rw-r----- 1 mysql mysql   730May409:51 mysql-bin.000005	
-rw-r----- 1 mysql mysql   260May409:50 mysql-bin.index	
[root@e710d318-d5b4-4bc7-a606-d09f06ff5f5d binlog]# mysqlbinlog -vv --base64-output=decode-rows mysql-bin.000005	
...	
#170504  9:51:12 server id 3306241  end_log_pos 354 CRC32 0xff83f0ce Query thread_id=155 exec_time=0 error_code=0	
use`xiaoboluo`/*!*/;	
...	
truncate test_load	
...	
BEGIN	
/*!*/;	
# at 487	
#170504  9:51:24 server id 3306241  end_log_pos 569 CRC32 0x67a31998 Rows_query	
# load data infile '/tmp/test_load.txt' into table test_load  # 这里可以看到load data语句在这里，这里是开启了参数binlog_rows_query_log_events=ON之后记录的原生sql，默认被加了注释，主备复制不会执行	
# at 569	
#170504  9:51:24 server id 3306241  end_log_pos 629 CRC32 0x6420d19b Table_map: `xiaoboluo`.`test_load` mapped to number 301	
# at 629	
#170504  9:51:24 server id 3306241  end_log_pos 699 CRC32 0xf5fff0d8 Write_rows: table id 301 flags: STMT_END_F	
### INSERT INTO `xiaoboluo`.`test_load`  #这里是备库记录的主库binlog日志，可以看到在mixed格式下被转换为了row格式	
### SET	
###   @1=2 /* INT meta=0 nullable=0 is_null=0 */	
###   @2='1' /* VARSTRING(300) meta=300 nullable=1 is_null=0 */	
### INSERT INTO `xiaoboluo`.`test_load`	
### SET	
###   @1=4 /* INT meta=0 nullable=0 is_null=0 */	
###   @2='2' /* VARSTRING(300) meta=300 nullable=1 is_null=0 */	
### INSERT INTO `xiaoboluo`.`test_load`	
### SET	
###   @1=6 /* INT meta=0 nullable=0 is_null=0 */	
###   @2='null' /* VARSTRING(300) meta=300 nullable=1 is_null=0 */	
### INSERT INTO `xiaoboluo`.`test_load`	
### SET	
###   @1=8 /* INT meta=0 nullable=0 is_null=0 */	
###   @2='4' /* VARSTRING(300) meta=300 nullable=1 is_null=0 */	
# at 699	
#170504  9:51:24 server id 3306241  end_log_pos 730 CRC32 0xd5a3bda4 Xid = 424	
COMMIT/*!*/;	
...
2.3. binlog_format=row

  • 先在主库中把binlog_format修改为row，隔离级别不要动，并刷新主从库binlog

# 主库	
admin@localhost : xiaoboluo 11:05:20> set binlog_format=row;	
Query OK, 0 rows affected (0.00 sec)	
admin@localhost : xiaoboluo 11:18:23> flush binary logs;	
Query OK, 0 rows affected (0.01 sec)	
# 从库	
mysql> flush binary logs;	
Query OK, 0 rows affected (0.01 sec)	
mysql>

  • 主库清空表test_load并执行load data语句

admin@localhost : xiaoboluo 11:18:26> truncate test_load;	
Query OK, 0 rows affected (0.01 sec)	
admin@localhost : xiaoboluo 11:18:51> load data infile '/tmp/test_load.txt'into table test_load;	
Query OK, 4 rows affected (0.00 sec)	
Records: 4Deleted: 0Skipped: 0Warnings: 0

  • 从以上结果中可以看到，在RU隔离级别下，binlog_format设置为row允许load data语句执行

  • 查看主库表test_load中的数据

admin@localhost : xiaoboluo 11:18:57> select* from test_load;	
+----+------+	
| id | test |	
+----+------+	
|  2| 1|	
|  4| 2|	
|  6| null|	
|  8| 4|	
+----+------+	
4 rows inset(0.00 sec)

  • 从以上结果中可以看到，表数据导入成功，现在解析binlog查看一下

[root@5f1772e3-0c7a-4537-97f9-9b57cf6a04c2 binlog]# ll	
total 196	
-rw-r----- 1 mysql mysql  4916May400:11 mysql-bin.000014	
-rw-r----- 1 mysql mysql  4557May400:12 mysql-bin.000015	
-rw-r----- 1 mysql mysql  5595May409:39 mysql-bin.000016	
-rw-r----- 1 mysql mysql   366May409:41 mysql-bin.000017	
-rw-r----- 1 mysql mysql   744May409:51 mysql-bin.000018	
-rw-r----- 1 mysql mysql   744May411:18 mysql-bin.000019	
-rw-r----- 1 mysql mysql   988May411:18 mysql-bin.index	
[root@5f1772e3-0c7a-4537-97f9-9b57cf6a04c2 binlog]# mysqlbinlog -vv --base64-output=decode-rows mysql-bin.000018	
# at 259	
#170504 11:18:51 server id 3306241  end_log_pos 354 CRC32 0x9d5985ad Query thread_id=155 exec_time=0 error_code=0	
use`xiaoboluo`/*!*/;	
......	
truncate test_load	
......	
BEGIN	
/*!*/;	
# at 501	
#170504 11:18:57 server id 3306241  end_log_pos 583 CRC32 0x0e8f7603 Rows_query	
# load data infile '/tmp/test_load.txt' into table test_load # 这里可以看到load data语句在这里，这里是开启了参数binlog_rows_query_log_events=ON之后记录的原生sql，默认被加了注释，主备复制不会执行	
# at 583	
#170504 11:18:57 server id 3306241  end_log_pos 643 CRC32 0xe1c5d4d0 Table_map: `xiaoboluo`.`test_load` mapped to number 341	
# at 643	
#170504 11:18:57 server id 3306241  end_log_pos 713 CRC32 0x31619df3 Write_rows: table id 341 flags: STMT_END_F	
### INSERT INTO `xiaoboluo`.`test_load`   #这里是用于主备复制的数据变更日志，可以看到在row格式下被转换为了row格式	
### SET	
###   @1=2 /* INT meta=0 nullable=0 is_null=0 */	
###   @2='1' /* VARSTRING(300) meta=300 nullable=1 is_null=0 */	
### INSERT INTO `xiaoboluo`.`test_load`	
### SET	
###   @1=4 /* INT meta=0 nullable=0 is_null=0 */	
###   @2='2' /* VARSTRING(300) meta=300 nullable=1 is_null=0 */	
### INSERT INTO `xiaoboluo`.`test_load`	
### SET	
###   @1=6 /* INT meta=0 nullable=0 is_null=0 */	
###   @2='null' /* VARSTRING(300) meta=300 nullable=1 is_null=0 */	
### INSERT INTO `xiaoboluo`.`test_load`	
### SET	
###   @1=8 /* INT meta=0 nullable=0 is_null=0 */	
###   @2='4' /* VARSTRING(300) meta=300 nullable=1 is_null=0 */	
# at 713	
#170504 11:18:57 server id 3306241  end_log_pos 744 CRC32 0x18b14b52 Xid = 1245	
COMMIT/*!*/;	
......

  • 从上面解析binlog的结果中可以看到，数据写入成功，load data语句被转换为row格式记录在binlog中

  • 查看备库中数据是否正确复制

mysql> use xiaoboluo	
Database changed	
mysql> select* from test_load;	
+----+------+	
| id | test |	
+----+------+	
|  2| 1|	
|  4| 2|	
|  6| null|	
|  8| 4|	
+----+------+	
4 rows inset(0.00 sec)

  • 解析备库binlog中是如何记录的load data语句

[root@e710d318-d5b4-4bc7-a606-d09f06ff5f5d binlog]# ll	
total 100	
-rw-r----- 1 mysql mysql   990May101:36 mysql-bin.000001	
-rw-r----- 1 mysql mysql 54766May400:02 mysql-bin.000002	
-rw-r----- 1 mysql mysql 21376May409:40 mysql-bin.000003	
-rw-r----- 1 mysql mysql   401May409:50 mysql-bin.000004	
-rw-r----- 1 mysql mysql   730May409:51 mysql-bin.000005	
-rw-r----- 1 mysql mysql   730May411:18 mysql-bin.000006	
-rw-r----- 1 mysql mysql   312May411:18 mysql-bin.index	
[root@e710d318-d5b4-4bc7-a606-d09f06ff5f5d binlog]# mysqlbinlog -vv --base64-output=decode-rows mysql-bin.000009	
......	
# at 259	
#170504 11:18:51 server id 3306241  end_log_pos 354 CRC32 0x9d5985ad Query thread_id=155 exec_time=0 error_code=0	
use`xiaoboluo`/*!*/;	
......	
truncate test_load	
......	
# at 487	
#170504 11:18:57 server id 3306241  end_log_pos 569 CRC32 0x97dd19e1 Rows_query	
# load data infile '/tmp/test_load.txt' into table test_load  # 这里可以看到load data语句在这里，这里是开启了参数binlog_rows_query_log_events=ON之后记录的原生sql，默认被加了注释，主备复制不会执行	
# at 569	
#170504 11:18:57 server id 3306241  end_log_pos 629 CRC32 0x6bef4f90 Table_map: `xiaoboluo`.`test_load` mapped to number 302	
# at 629	
#170504 11:18:57 server id 3306241  end_log_pos 699 CRC32 0x5a86b7f1 Write_rows: table id 302 flags: STMT_END_F	
### INSERT INTO `xiaoboluo`.`test_load`  #这里是备库记录的主库binlog日志，可以看到在row格式下被转换为了row格式，与mixed格式下记录的内容相同	
### SET	
###   @1=2 /* INT meta=0 nullable=0 is_null=0 */	
###   @2='1' /* VARSTRING(300) meta=300 nullable=1 is_null=0 */	
### INSERT INTO `xiaoboluo`.`test_load`	
### SET	
###   @1=4 /* INT meta=0 nullable=0 is_null=0 */	
###   @2='2' /* VARSTRING(300) meta=300 nullable=1 is_null=0 */	
### INSERT INTO `xiaoboluo`.`test_load`	
### SET	
###   @1=6 /* INT meta=0 nullable=0 is_null=0 */	
###   @2='null' /* VARSTRING(300) meta=300 nullable=1 is_null=0 */	
### INSERT INTO `xiaoboluo`.`test_load`	
### SET	
###   @1=8 /* INT meta=0 nullable=0 is_null=0 */	
###   @2='4' /* VARSTRING(300) meta=300 nullable=1 is_null=0 */	
# at 699	
#170504 11:18:57 server id 3306241  end_log_pos 730 CRC32 0x983a4a33 Xid = 440	
COMMIT/*!*/;	
......

因文章篇幅较长，公众号无法全部摘选，若想了解全文，可以添加助教获取完整文章电子版。

扫码添加助教

640?wx_fmt=png

END

640?wx_fmt=png

640?wx_fmt=gif

640?wx_fmt=gif

扫码加入MySQL技术Q群

（群号：529671799）

   

640?wx_fmt=jpeg

老叶茶馆_
关注
MYSQL之load data使用详解
37度2
10-12 7070
LOAD DATA [LOW_PRIORITY | CONCURRENT] [LOCAL] INFILE 'file_name'   [REPLACE | IGNORE] INTO TABLE tbl_name   [CHARACTER SET charset_name]  [{FIELDS | COLUMNS} [TERMINATED BY 'string']  [[OPTI
MySQL的load data
2401_83591620的博客
03-18 551
即使已经设置local_infile的值为1，进入MySQL前的权限不足也是无法执行load data的，会出现如下错误。有的参考是mysql --local-infile -u root -p，我试了不太行，不确定是否版本问题。fields terminated by后接的是字段值的分隔符。解决：退出数据库之后，加--local-infile权限再进入。by后接的是记录值（一个record）的分割符。
MySQL Load data
hashcon
05-18 4634
LOAD DATA [LOW_PRIORITY | CONCURRENT] [LOCAL] INFILE 'file_name.txt' [REPLACE | IGNORE] INTO TABLE tbl_name [FIELDS [TERMINATED BY 'string'] [[OPTIONALLY] ENCLOSED BY 'char'] [ESCAPED
mysql的load data_【MySQL】load data语句详解（一）
weixin_39884492的博客
01-18 5959
作者 罗小波沃趣科技高级MySQL数据库工程师load data语句详解背景数据库版本：MySQL 5.7.18服务器信息：本地到处导入在10.10.30.241上演示，local远程导入在10.10.30.250上演示数据库参数配置：*双一，secure_file_priv=''，log-bin，binlog_format=row，隔离级别RC，sql_mode='ONLY_FULL_GROU...
mysql load data 语法_mysql数据库load data 语法及使用教程
weixin_29345939的博客
02-01 602
LOAD DATA INFILE SyntaxLOAD DATA [LOW_PRIORITY | CONCURRENT] [LOCAL] INFILE 'file_name'[REPLACE | IGNORE]INTO TABLE tbl_name[FIELDS[TERMINATED BY 'string'][[OPTIONALLY] ENCLOSED BY 'char'][ESCAPED BY ...
MySQL中由load data语句引起死锁的解决案例
09-10
在MySQL中，`LOAD DATA INFILE`语句常用于快速导入大量数据到InnoDB表中。然而，由于InnoDB引擎的锁机制，这种操作有时可能会引发死锁。死锁是指两个或多个事务在执行过程中，因争夺资源而造成的一种相互等待的现象...
mysql load会锁表吗_Mysql必读MySQL中由load data语句引起死锁的解决案例
weixin_34670892的博客
01-27 879
《MysqL必读MysqL中由load data语句引起死锁的解决案例》要点：本文介绍了MysqL必读MysqL中由load data语句引起死锁的解决案例，希望对您有用。如果有疑问，可以联系我们。一个线上项目报的死锁,简要说明一下产生原因、处理方案和相关的一些点.1、背景这是一个类似数据分析的项目,数据完全通过LOAD DATA语句导入一个InnoDB表中.为方便描述,表结构简化为如下：Crea...
MySQL主从不一致问题相关处理
企业实战系列集 ●●● https://ximenjianxue.blog.csdn.net
09-26 1万+
某业务采取mysql的主从架构，但因为存储的问题，导致备库一直无法存储，数据同步一致性问题一直也未恢复，某次安全检查要求完成主备倒换演练，必须限期恢复主备，但是在恢复过程中，同步显示正常一段时间后，便会出现sql线程异常，主备数据不一致导致的同步错误情况。主数据库上面设置的max_allowed_packet比从数据库大，当一个大的sql语句，能在主数据库上面执行完毕，从数据库上面设置过小，无法执行，导致的主从不一致。根据上面的NR行数，查看附近的行，定位数据不一致的地方，后续手动补全。
mysql的主从复制+springboot实现读写分离
qq_51771271的博客
06-06 745
springboot读写分离
MySQL主从集群原理+实战
xvktdmjg的博客
04-09 1080
目录如下 MySQL主从集群原理+实战 背景 随着公司业务的发展，对数据库的要求越来越高，以前的单机MySQL肯定是玩不转了，亟需升级成MySQL集群，这是一个公司在业务发展时不得不面临的问题 就单机MySQL而言，自己玩玩可以，运用到实际项目中，那肯定要挨批的。一方面数据不安全，万一数据库的电脑磁盘坏了，就坑了。另一方面数据库的并发能力是有限的，一般并发数200～500就差不多了，当然你要继续往上增，也是可以的，那就影响整体Mysql的响应时间。 那么有哪些集群方案呢？ 集群方案 在初期，由于MyS
MySQL 快速导入数据指令load Data 详解
小兀的博客
04-13 9464
介绍mysql快速导入数据指令load data
MySQL load data 快速导入大批量数据
热门推荐
极乐谷2的专栏
04-04 4万+
MySQL load data 语句能快速将一个文本文件的内容导入到对应的数据库表中
MySql优化系列-进阶版造数据（load data statment）-3
u014133299的博客
02-11 734
load data mysql 快速造大量数据
【MySQL】load data语句详解（三）
05-23 400
作者 罗小波 沃趣科技高级MySQL数据库工程师 2、批量导出和批量导入 使用mysqldump批量导出生成表的txt文件，并使用mysqlimport批...
mysql主从 load data_Mysql中load data infile主从复制注意点
weixin_36486217的博客
01-19 428
在mysql官方文档的描述里，load data infile加载数据要比普通的insert快20倍，可以说是插入数据最快的方式了，所以在很多场合都会用它来提升入库速度。那它在主从架构中的从库上会怎么执行呢？(主从复制官网)刚开始我假定是在master上load成功后会以batch insert方式dump进binlog，从库IO线程请求binlog，最后SQL线程以batch insert执行一...
mysql load data 原理_MySQL 执行load data infile时同步原理及注意事项(额外一点补充)...
weixin_29798625的博客
01-19 864
1)在客户端也可以向远程MySQL服务器执行 ‘load data‘ 命令，比如，客户端IP： 192.168.204.132服务器IP： 192.168.204.131可以在192.168.204.132上，执行命令：-h192.168.204.131 -utest -ptest test -e'loadlocal data infile"/opt/xxxxx.txt"into table lo...
mysql使用load data infile导入数据出现错误
最新发布
HAOHAOXUEXIAAAA的博客
04-25 1505
mysql支持两种形式的变量，session和global，会话级别的变量只会对当前连接生效，global变量会应用到此后创建的所有连接，所以要想在当前及以后的连接中都要生效，需要设置session和global这2个级别的变量。1 set的方法只是当前的修改，重启mysql后会失效查看当前会话或全局的变量的值例如。
MySQL 执行load data&nb…
小白菜的专栏
03-22 468
1）在客户端也可以向远程MySQL服务器执行 ‘load data‘ 命令， 比如，客户端IP： 192.168.204.132 服务器IP： 192.168.204.131 可以在192.168.204.132上， 执行命令： mysql -h 192.168.204.131 -utest -ptest test -e'load local data infile"/opt/xx
Mysql中load data infile主从复制注意点
sawen21的专栏
04-22 1649
本文转自我的原创blog:http://www.javali.org/document/tips-on-replication-in-load-data-infile-in-mysql.html 在mysql官方文档的描述里，load data infile加载数据要比普通的insert快20倍，可以说是插入数据最快的方式了，所以在很多场合都会用它来提升入库速度。 那它在主
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值