go MySQL批量_MySQL批量导入数据

最新推荐文章于 2024-06-04 09:48:22 发布
最新推荐文章于 2024-06-04 09:48:22 发布
阅读量246 收藏
点赞数
文章标签： go MySQL批量
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/weixin_39785723/article/details/113140489
版权

在我们使用数据库的过程中，避免不了备份、恢复、导入、导出数据，方法比较多，根据不同的数据量选择不同的方法，会提高我们的工作效率，

(1)从表A导入数据到表B；一般涉及到表结构相同或者表结构不同等情况，数据量少的时候效率很高，

测试表A为 send_done，创建语句为下面内容，CREATE TABLE `send_done` (

`id` bigint(20) NOT NULL AUTO_INCREMENT,

`phone` varchar(20) NOT NULL,

`content` varchar(1000) NOT NULL,

`intime` datetime NOT NULL,

`state` int(11) NOT NULL,

`sendtime` datetime DEFAULT NULL,

`statcode` varchar(20) DEFAULT NULL,

PRIMARY KEY (`id`),

KEY `ind_state` (`state`)

) ENGINE=InnoDB AUTO_INCREMENT=1166482 DEFAULT CHARSET=utf8CREATE TABLE `send_sf_done` (

`id` bigint(20) NOT NULL AUTO_INCREMENT,

`phone` varchar(20) NOT NULL,

`content` varchar(1000) NOT NULL,

`intime` datetime NOT NULL,

`state` int(11) NOT NULL,

`sendtime` datetime DEFAULT NULL,

`statcode` varchar(20) DEFAULT NULL,

PRIMARY KEY (`id`),

KEY `ind_state` (`state`)

) ENGINE=InnoDB AUTO_INCREMENT=1166482 DEFAULT CHARSET=utf8

表A的数据

MariaDB [wangjubao]> select  *  from  send_done;

+---------+-------------+--------------------------------+---------------------+-------+---------------------+---------------------+

| id      | phone       | content                        | intime              | state | sendtime            | statcode            |

+---------+-------------+--------------------------------+---------------------+-------+---------------------+---------------------+

| 1166459 | 15021970243 | 冬天到了【云信测试】           | 2016-11-04 10:33:02 |     1 | 2016-11-04 10:44:21 | 2114782562554393363 |

| 1166461 | 15021970243 | 冬天到了【云信测试】           | 2016-11-04 10:45:53 |    -3 | 2016-11-04 10:46:05 | -3                  |

| 1166463 | 15021970243 | 冬天到了【云信测试】           | 2016-11-04 10:47:42 |    -3 | 2016-11-04 10:47:54 | -3                  |

| 1166465 | 15021970243 | 冬天到了【云信测试】           | 2016-11-04 10:49:08 |    -3 | 2016-11-04 10:49:19 | -3                  |

| 1166467 | 15021970243 | 冬天到了【云信测试】           | 2016-11-04 10:55:33 |     1 | 2016-11-04 10:55:53 | 2114782569505307918 |

| 1166469 | 15021970243 | 冬天到了【云信测试】           | 2016-11-04 11:10:20 |    -3 | 2016-11-04

+---------+-------------+--------------------------------+---------------------+-------+---------------------+---------------------+

1、从表A导入表B

insert  into  send_done  select *  from send_sf_done; (字段全部一样时不用写字段)

2、从表A导出文本加载到B

导出数据

select   *  from  send_done  into outfile "/tmp/winn.sql ";

MariaDB [wangjubao]>  select   *  from  send_done  into outfile "/tmp/winn.sql "

-> ;

Query OK, 12 rows affected (0.00 sec)

检查导出文件

[root@slave1 tmp]# cat  winn.sql

1166459 15021970243     冬天到了【云信测试】    2016-11-04 10:33:02     1       2016-11-04 10:44:21     2114782562554393363

1166461 15021970243     冬天到了【云信测试】    2016-11-04 10:45:53     -3      2016-11-04 10:46:05     -3

1166463 15021970243     冬天到了【云信测试】    2016-11-04 10:47:42     -3      2016-11-04 10:47:54     -3

1166465 15021970243     冬天到了【云信测试】    2016-11-04 10:49:08     -3      2016-11-04 10:49:19     -3

11:23:36     2114782586244477897

删除之前从A表导入B表的数据，

MariaDB [wangjubao]> delete   from send_sf_done;

Query OK, 12 rows affected (0.00 sec)

MariaDB [wangjubao]> select  *  from  send_sf_done;

Empty set (0.00 sec)

加载导出的文件(load data)

load data infile '/tmp/winn.sql' into table  send_sf_done;

MariaDB [wangjubao]> load data infile '/tmp/winn.sql' into table  send_sf_done;

Query OK, 12 rows affected (0.00 sec)

Records: 12  Deleted: 0  Skipped: 0  Warnings: 0

MariaDB [wangjubao]> select  *  from  send_sf_done;

+---------+-------------+--------------------------------+---------------------+-------+---------------------+---------------------+

| id      | phone       | content                        | intime              | state | sendtime            | statcode            |

+---------+-------------+--------------------------------+---------------------+-------+---------------------+---------------------+

| 1166459 | 15021970243 | 冬天到了【云信测试】           | 2016-11-04 10:33:02 |     1 | 2016-11-04 10:44:21 | 2114782562554393363 |

| 1166461 | 15021970243 | 冬天到了【云信测试】           | 2016-11-04 10:45:53 |    -3 | 2016-11-04 10:46:05 | -3                  |

| 1166463 | 15021970243 | 冬天到了【云信测试】           | 2016-11-04 10:47:42 |    -3 | 2016-11-04 10:47:54 | -3                  |

| 1166465 | 15021970243 | 冬天到了【云信测试】           | 2016-11-04 10:49:08 |    -3 | 2016-11-04 10:49:19 | -3                  |

| 1166467 | 15021970243 | 冬天到了【云信测试】           | 2016-11-04 10:55:33 |     1 | 2016-11-04 10:55:53 | 2114782569505307918 |

| 1166469 | 15021970243 | 冬天到了【云信测试】           | 2016-11-04 11:10:20 |    -3 | 2016-11-04 11:15:17 | -3                  |

| 1166471 | 15021970243 | 冬天到了【云信测试】           | 2016-11-04 11:23:16 |     1 | 2016-11-04 11:23:18 | 2114782586069773509 |

|

+---------+-------------+--------------------------------+---------------------+-------+---------------------+---------------------+

注意：

load  data  infile  默认的列与列间的分隔符是制表符，当出现其他分割符时就会出现加载数据不匹配的情况。#创建user表

CREATE TABLE `user` (

`username` varchar(10) DEFAULT NULL,

`sex` tinyint(4) DEFAULT NULL,

`birth` date DEFAULT NULL,

`address` varchar(50) DEFAULT NULL,

`phone` varchar(15) DEFAULT NULL,

`email` varchar(50) DEFAULT NULL

) ENGINE=InnoDB DEFAULT CHARSET=utf8

#相关的数据(select 或者outfile导出都可以)

winner  1       1993-11-25      甘肃西和县      18393354445     18393355445@163.com

linux   1       1993-11-25      甘肃西和县      18393354445     18393355445@163.com

linux   1       1993-11-27      上海松江        1839335442      1839335544@163.com

linux   1       1993-11-25      甘肃西和县      18393354445     18393355445@163.com

linux   1       1993-11-27      上海松江        1839335442      1839335544@163.com

linux   1       1993-11-27      上海松江        1839335442      1839335544@163.com

linux   1       1993-11-25      甘肃西和县      18393354445     18393355445@163.com

linux   1       1993-11-27      上海松江        1839335442      1839335544@163.com

linux   1       1993-11-27      上海松江        1839335442      1839335544@163.com

linux   1       1993-11-27      上海松江        1839335442      1839335544@163.com

docker  1       1993-11-27      上海松江        1839335442      1839ss5544@163.com

将分隔符换成逗号","

awk -F"\t"  '{print $1","$2","$3","$4","$5","$6}'  user.txt  >user.awk

或者：sed  "s/\t/,/g"  user.txt >user.txt

winner,1,1993-11-25,甘肃西和县,18393354445,18393355445@163.com

linux,1,1993-11-25,甘肃西和县,18393354445,18393355445@163.com

linux,1,1993-11-27,上海松江,1839335442,1839335544@163.com

linux,1,1993-11-25,甘肃西和县,18393354445,18393355445@163.com

linux,1,1993-11-27,上海松江,1839335442,1839335544@163.com

linux,1,1993-11-27,上海松江,1839335442,1839335544@163.com

linux,1,1993-11-25,甘肃西和县,18393354445,18393355445@163.com

linux,1,1993-11-27,上海松江,1839335442,1839335544@163.com

linux,1,1993-11-27,上海松江,1839335442,1839335544@163.com

linux,1,1993-11-27,上海松江,1839335442,1839335544@163.com

docker,1,1993-11-27,上海松江,1839335442,1839ss5544@163.com

加载数据：

mysql> LOAD DATA INFILE '/var/lib/mysql/Docker/user.awk' INTO TABLE user;

Query OK, 11 rows affected, 66 warnings (0.05 sec)

Records: 11  Deleted: 0  Skipped: 0  Warnings: 66

mysql> select  * from user;

winner,1,1 | NULL | NULL       | NULL            | NULL        | NULL                |

| linux,1,19 | NULL | NULL       | NULL            | NULL        | NULL                |

| linux,1,19 | NULL | NULL       | NULL            | NULL        | NULL                |

| linux,1,19 | NULL | NULL       | NULL            | NULL        | NULL                |

| linux,1,19 | NULL | NULL       | NULL            | NULL        | NULL                |

| linux,1,19 | NULL | NULL       | NULL            | NULL        | NULL                |

| linux,1,19 | NULL | NULL       | NULL            | NULL        | NULL                |

| linux,1,19 | NULL | NULL       | NULL            | NULL        | NULL                |

| linux,1,19 | NULL | NULL       | NULL            | NULL        | NULL                |

| linux,1,19 | NULL | NULL       | NULL            | NULL        | NULL

指定分隔符

LOAD DATA INFILE '/var/lib/mysql/Docker/user.awk' INTO TABLE user FIELDS  TERMINATED BY ','

查看插入结果：

linux,1,19 | NULL | NULL       | NULL            | NULL        | NULL                |

| linux,1,19 | NULL | NULL       | NULL            | NULL        | NULL                |

| linux,1,19 | NULL | NULL       | NULL            | NULL        | NULL                |

| linux,1,19 | NULL | NULL       | NULL            | NULL        | NULL                |

| linux,1,19 | NULL | NULL       | NULL            | NULL        | NULL                |

| linux,1,19 | NULL | NULL       | NULL            | NULL        | NULL                |

| linux,1,19 | NULL | NULL       | NULL            | NULL        | NULL                |

| linux,1,19 | NULL | NULL       | NULL            | NULL        | NULL                |

| linux,1,19 | NULL | NULL       | NULL            | NULL        | NULL                |

| docker,1,1 | NULL | NULL       | NULL            | NULL        | NULL                |

| winner     |    1 | 1993-11-25 | 甘肃西和县      | 18393354445 | 18393355445@163.com |

| linux      |    1 | 1993-11-25 | 甘肃西和县      | 18393354445 | 18393355445@163.com |

| linux      |    1 | 1993-11-27 | 上海松江        | 1839335442  | 1839335544@163.com  |

| linux      |    1 | 1993-11-25 | 甘肃西和县      | 18393354445 | 18393355445@163.com |

| linux      |    1 | 1993-11-27 | 上海松江        | 1839335442  | 1839335544@163.com  |

| linux      |    1 | 1993-11-27 | 上海松江        | 1839335442  | 1839335544@163.com  |

| linux      |    1 | 1993-11-25 | 甘肃西和县      | 18393354445 | 18393355445@163.com |

| linux      |    1 | 1993-11-27 | 上海松江        | 1839335442  | 1839335544@163.com  |

| linux      |    1 | 1993-11-27 | 上海松江        | 1839335442  | 1839335544@163.com  |

| linux      |    1 | 1993-11-27 | 上海松江        | 1839335442  | 1839335544@163.com  |

| docker     |    1 | 1993-11-27 | 上海松江        | 1839335442  | 1839ss5544@163.com

方法3、 使用select 导出数据

mysql  -u  root  -p  -e  "select  *  from wangjubao.send_done;" >/tmp/winner2.sql

检查数据

[root@slave1 tmp]# cat  winner2.sql

id      phone   content intime  state   sendtime        statcode

1166459 15021970243     冬天到了【云信测试】    2016-11-04 10:33:02     1       2016-11-04 10:44:21     2114782562554393363

1166461 15021970243     冬天到了【云信测试】    2016-11-04 10:45:53     -3      2016-11-04 10:46:05     -3

1166463 15021970243     冬天到了【云信测试】    2016-11-04 10:47:42     -3      2016-11-04 10:47:54     -3

1166465 15021970243     冬天到了【云信测试】    2016-11-04 10:49:08     -3      2016-11-04 10:49:19     -3

1166467 15021970243     冬天到了【云信测试】    2016-11-04 10:55:33     1       2016-11-04 10:55:53     2114782569505307918

处理第一行

sed   -i  "1,1d"  /tmp/winner2.sq

处理结果

1166459 15021970243     冬天到了【云信测试】    2016-11-04 10:33:02     1       2016-11-04 10:44:21     2114782562554393363

1166461 15021970243     冬天到了【云信测试】    2016-11-04 10:45:53     -3      2016-11-04 10:46:05     -3

1166463 15021970243     冬天到了【云信测试】    2016-11-04 10:47:42     -3      2016-11-04 10:47:54     -3

1166465 15021970243     冬天到了【云信测试】    2016-11-04 10:49:08     -3      2016-11-04 10:49:19     -3

1166467 15021970243     冬天到了【云信测试】    2016-11-04 10:55:33     1       2016-11-04 10:55:53     2114782569505307918

使用load加载数据就可以了

方法4、利用CSV存储引擎导入数据

像nivcate之类的工具，我们都可以导入CSV，excel，txt等格式的数据，在研究完CSV存储引擎后，发现CSV存储引擎，可以直接向CSV文件导入到数据库中，CSV存储引擎的表，会在操作系统上存储.frm表结构定义信息，还有.CSV文件存储数据就是和普通的CSV没什么区别。我们可以手动的更改此文件。从而实现增删改。

实践

需要注意分隔符是英文逗号(,),先创建相关的表以及数据CREATE TABLE `lvs` (   `id` int(11) NOT NULL,

`name` char(20) NOT NULL,

`address` char(30) NOT NULL,

`mail` char(30) NOT NULL ) ENGINE=CSV DEFAULT CHARSET=utf8;

#数据文件

1,"百度","人工智能","18655@163.com"

2,"百度","测试","18655@163.com"

3,"腾讯","北京","18655@163.com"

4,"阿里巴巴","计算器","18655@163.com"

#检查改表相关的物理文件

-rw-rw---- 1 mysql mysql   35 May 17 16:28 lvs.CSM # 报错表的状态和表中的数据

-rw-rw---- 1 mysql mysql    0 May 17 16:28 lvs.CSV #数据文件

-rw-rw---- 1 mysql mysql 8652 May 17 16:28 lvs.frm #表结构

[root@iZ23t094y03Z test]# cat   lvs.csv #检查准备的数据文件

1,"百度","人工智能","18655@163.com"

2,"百度","测试","18655@163.com"

3,"腾讯","北京","18655@163.com"

4,"阿里巴巴","计算器","18655@163.com"

1,"百度","人工智能","18655@163.com"

2,"百度","测试","18655@163.com"

3,"腾讯","北京","18655@163.com"

4,"阿里巴巴","计算器","18655@163.com"

#将准备好的数据文件写入lvs.CSV文件

root@iZ23t094y03Z test]# cat   lvs.csv   >lvs.CSV

#检查数据库

MariaDB [test]> select *  from lvs;

+----+--------------+--------------+---------------+

| id | name         | address      | mail          |

+----+--------------+--------------+---------------+

|  1 | 百度         | 人工智能     | 18655@163.com |

|  2 | 百度         | 测试         | 18655@163.com |

|  3 | 腾讯         | 北京         | 18655@163.com |

|  4 | 阿里巴巴     | 计算器       | 18655@163.com |

|  1 | 百度         | 人工智能     | 18655@163.com |

|  2 | 百度         | 测试         | 18655@163.com |

|  3 | 腾讯         | 北京         | 18655@163.com |

|  4 | 阿里巴巴     | 计算器       | 18655@163.com |

+----+--------------+--------------+---------------+

再插入

cat   lvs.csv   >>lvs.CSV  #这时更改数据、增加数据  可能不会立即生效 可以用以下命令

检查和修复。

MariaDB [test]> check  table lvs;

+----------+-------+----------+----------+

| Table    | Op    | Msg_type | Msg_text |

+----------+-------+----------+----------+

| test.lvs | check | error    | Corrupt  |

+----------+-------+----------+----------+

1 row in set (0.00 sec)

MariaDB [test]> repair  table   lvs;

+----------+--------+----------+----------+

| Table    | Op     | Msg_type | Msg_text |

+----------+--------+----------+----------+

| test.lvs | repair | status   | OK       |

+----------+--------+----------+----------+

1 row in set (0.00 sec)

MariaDB [test]> select *  from lvs;

+----+--------------+--------------+---------------+

| id | name         | address      | mail          |

+----+--------------+--------------+---------------+

|  1 | 百度         | 人工智能     | 18655@163.com |

|  2 | 百度         | 测试         | 18655@163.com |

|  3 | 腾讯         | 北京         | 18655@163.com |

|  4 | 阿里巴巴     | 计算器       | 18655@163.com |

|  1 | 百度         | 人工智能     | 18655@163.com |

|  2 | 百度         | 测试         | 18655@163.com |

|  3 | 腾讯         | 北京         | 18655@163.com |

|  4 | 阿里巴巴     | 计算器       | 18655@163.com |

|  1 | 百度         | 人工智能     | 18655@163.com |

|  2 | 百度         | 测试         | 18655@163.com |

|  3 | 腾讯         | 北京         | 18655@163.com |

|  4 | 阿里巴巴     | 计算器       | 18655@163.com |

|  1 | 百度         | 人工智能     | 18655@163.com |

|  2 | 百度         | 测试         | 18655@163.com |

|  3 | 腾讯         | 北京         | 18655@163.com |

|  4 | 阿里巴巴     | 计算器       | 18655@163.com |

+----+--------------+--------------+---------------+

16 rows in set (0.00 sec)

数据导入的时候需要注意字符集、分割付，中英文标点符号等，不然不能加载数据，check table lvs失败repair  table lvs 修复时， 甚至可能清空整张表的数据。

方法5、复制相同表的数据

在mysql中我们可以将一张表复制到另一个库中，也可以复制相同的表结构和数据。

1、剪切某表到新的库

目前的test库中有lsv和lvs两张表，还有一个新的库csvtest，目前没有表，我们实现表的移动操作。MariaDB [test]> show  tables;

+----------------+

| Tables_in_test |

+----------------+

| lsv            |

| lvs            |

MariaDB [test]> alter  table   lvs rename  csvtest.lvs;

Query OK, 0 rows affected (0.00 sec)

MariaDB [test]> show tables;  #执行完

+----------------+

| Tables_in_test |

+----------------+

| lsv            |

+----------------+

检查csvtest库

MariaDB [test]> use  csvtest

Reading table information for completion of table and column names

You can turn off this feature to get a quicker startup with -A

Database changed

MariaDB [csvtest]> show tables;

+-------------------+

| Tables_in_csvtest |

+-------------------+

| lvs               |

+-------------------+

1 row in set (0.00 sec)

MariaDB [csvtest]> select  *  from lvs;

+----+--------------+--------------+---------------+

| id | name         | address      | mail          |

+----+--------------+--------------+---------------+

|  1 | 百度         | 人工智能     | 18655@163.com |

|  2 | 百度         | 测试         | 18655@163.com |

|  3 | 腾讯         | 北京         | 18655@163.com |

|  4 | 阿里巴巴     | 计算器       | 18655@163.com |

|  1 | 百度         | 人工智能     | 18655@163.com |

|  2 | 百度         | 测试         | 18655@163.com |

|  3 | 腾讯         | 北京         | 18655@163.com |

|  4 | 阿里巴巴     | 计算器       | 18655@163.com |

|  1 | 百度         | 人工智能     | 18655@163.com |

|  2 | 百度         | 测试         | 18655@163.com |

|  3 | 腾讯         | 北京         | 18655@163.com |

|  4 | 阿里巴巴     | 计算器       | 18655@163.com |

|  1 | 百度         | 人工智能     | 18655@163.com |

|  2 | 百度         | 测试         | 18655@163.com |

|  3 | 腾讯         | 北京         | 18655@163.com |

|  4 | 阿里巴巴     | 计算器       | 18655@163.com |

+----+--------------+--------------+---------------+

16 rows in set (0.00 sec)

真的全部移动到此啊，我们在检查一下物理文件有什么变化呢

[root@iZ23t094y03Z csvtest]# pwd

/var/lib/mysql/csvtest

[root@iZ23t094y03Z csvtest]# ls

db.opt  lvs.CSM  lvs.CSV  lvs.frm

#再看看原来的目录

[root@iZ23t094y03Z csvtest]# cd  ../test/

[root@iZ23t094y03Z test]# ll

total 24

-rw-rw---- 1 mysql mysql   35 May 17 15:13 lsv.CSM

-rw-rw---- 1 mysql mysql  159 May 17 15:13 lsv.CSV

-rw-rw---- 1 mysql mysql 8652 May 17 15:03 lsv.frm

这个SQL真的很强大，在物理上和逻辑上都进行了移动。真心的强大啊。

方法2  创建表(复制表)迁移数据

除了上面的方法，我们还可以使用创建表的方式复制表结构和表中的数据。MariaDB [csvtest]> create  table  lvs2   engine=innodb  as select * from  csvtest.lvs;

Query OK, 16 rows affected (0.04 sec)

Records: 16  Duplicates: 0  Warnings: 0

MariaDB [csvtest]> show  tables;

+-------------------+

| Tables_in_csvtest |

+-------------------+

| lvs               |

| lvs2              |

+-------------------+

2 rows in set (0.00 sec)

MariaDB [csvtest]> ;

ERROR: No query specified

MariaDB [csvtest]> select  * from  lvs2;

+----+--------------+--------------+---------------+

| id | name         | address      | mail          |

+----+--------------+--------------+---------------+

|  1 | 百度         | 人工智能     | 18655@163.com |

|  2 | 百度         | 测试         | 18655@163.com |

|  3 | 腾讯         | 北京         | 18655@163.com |

|  4 | 阿里巴巴     | 计算器       | 18655@163.com |

|  1 | 百度         | 人工智能     | 18655@163.com |

|  2 | 百度         | 测试         | 18655@163.com |

|  3 | 腾讯         | 北京         | 18655@163.com |

|  4 | 阿里巴巴     | 计算器       | 18655@163.com |

|  1 | 百度         | 人工智能     | 18655@163.com |

|  2 | 百度         | 测试         | 18655@163.com |

|  3 | 腾讯         | 北京         | 18655@163.com |

|  4 | 阿里巴巴     | 计算器       | 18655@163.com |

|  1 | 百度         | 人工智能     | 18655@163.com |

|  2 | 百度         | 测试         | 18655@163.com |

|  3 | 腾讯         | 北京         | 18655@163.com |

|  4 | 阿里巴巴     | 计算器       | 18655@163.com |

+----+--------------+--------------+---------------+

16 rows in set (0.00 sec)

mysqlimport 导入导出数据

导入导出数据的方式特别多，除了我们上述的几种外，还有一个mysqlimport可以将文件导入到数据库中。可以从各种格式的文本文件中加载表。 文本文件名称必须是应该使用的表的名称。如果使用套接字连接到MySQL服务器，则服务器将直接打开并读取文本文件。 在其他情况下，客户端将打开文本文件。 SQL命令“LOAD DATA INFILE”用于导入行。

mysqlimport   -u  root  -p123123  Docker --default-character-set=utf8   --fields-terminated-by=, user.awk  #指定分割符

mysqlimport常用参数

--default-character-set=utf8

-d  --delete 导入数据前 会先删除 会删除表中的所有数据

-f --force  如果遇见错误 仍然要继续执行

-i  --ignore  如果插入记录中发现有重复值 那么这条记录不做处理

-r  --replace  如果插入记录中发现有重复值 则覆盖旧记录

-L  --local   从执行命令客户端读取文件 默认从服务端对应的路径下读取文件

-s --silent  导入数据 不输出操作结果

--ignore-lines=  跳过文件的前多少行

--user-threads=  并行加载数据 多线程 加载数据

--fields-terminated-by=  指定分割符

--fiedes-enclosed-by=  指定用于包括住列值的符号 对于字符列 或者中间包括列分隔符情景比较适用 例如分隔符中为， 内容中有逗号。

其实mysqlimport和load data 原理是一样的，所以支持的参数什么都是一样的，主要的区别就是mysqlimport是一种接口的形式

随着使用MYSQL越来越多，也慢慢的发现了其中很多让人惊讶的地方，功能真的非常的强悍。继续努力吧！

weixin_39785723
关注
  • 0
    点赞
  • 踩
  • 0
    收藏
    觉得还不错? 一键收藏
  • 0
    评论
go mysql 批量_Mysql千万级别数据批量插入只需简单三步-Go语言中文社区
weixin_39907850的博客
01-26 1747
第一步：配置my.ini文件文件中配置bulk_insert_buffer_size=120M 或者更大将insert语句的长度设为最大。Max_allowed_packet=1MNet_buffer_length=8k保存第二步：查看设置的参选有没有生效.Mysql > SHOW VARIABLES;bulk_insert_buffer_size默认是8M，我们要把它调成100M或百兆以上...
go-mysq批量插入多条数据
weixin_56461542的博客
06-07 3534
解决go使用mysql插入数据时字段不固定的问题，避免重写逻辑，将其抽象出来实现！
MySQL批量插入数据详解
最新发布
良月柒
06-04 1335
批量插入数据是MySQL中提高插入效率、减少开销的重要手段。本文详细介绍了几种常见的批量插入方法，包括使用单条INSERT语句、命令、存储过程以及使用事务保证原子性等。同时，提供了一些优化和最佳实践建议。
go MySQL批量,golang - mysql一次插入多个数据？
weixin_31302909的博客
01-18 559
I know that Insert multiple data at once more efficiency:INSERT INTO test(n1, n2, n3)VALUES(v1, v2, v3),(v4, v5, v6),(v7, v8, v9);How to do that in golang?data := []map[string]string{{"v1":"1", "v2":"...
go MySQL批量_GO操作MYSQL
weixin_29526313的博客
01-18 674
驱动包MySql驱动Go语言中的database/sql包不包含数据库驱动，使用时必须注入一个数据库驱动。下载依赖go get -u github.com/go-sql-driver/mysql使用mysql驱动语法:func Open(driverName, dataSourceName string) (*DB, error)示例代码：import ("database/sql""fmt"_ ...
go批量导出mysql建表脚本_MySQL批量导出脚本
weixin_34013327的博客
01-19 131
mysql批量导出批处理脚本,每次手动导出太麻烦了,写了这个批量导出脚本.使用方式:直接新建一个daochu.bat在mysql的bin目录下,然后直接双击执行即可daochu.bat文件内容如下@echo offrem 杀死mysql服务器taskkill /F /IM mysqld.exerem 启动mysql服务器start mysqld.exe --defaults-file=..\my....
go写的mysql的慢查询日志解析工具，输出到一个数据的表里边
03-15
`go写的mysql的慢查询日志解析工具，输出到一个数据的表里边`这个项目显然旨在解决这个问题，利用Go语言的高效处理能力，将日志信息解析并存储到数据表中，便于进一步的数据分析和处理。 首先，我们需要了解Go语言...
gorm-b​​ulk-insert：使用gorm实现BulkInsert，只需传递一个Slice的结构即可。 简单兼容
02-02
Gorm批量插入 Gorm Bulk Insert是一个使用实现批量插入的库。 只需传递一片结构即可执行批量插入，就像您定期使用gorm一样。 目的 当在数据库中保存大量记录时，一次插入-而不是一个接一个地插入-可以显着提高性能。...
MySQL 桌面管理工具
01-30
5. 导入导出：将数据导入或导出到CSV、Excel等格式。 6. 表结构设计：创建和修改表结构，定义字段类型、长度和约束条件。 7. 查询性能分析：查看查询执行计划，优化SQL语句以提升性能。 通过深入理解Delphi XE8、...
dataswap_数据交换_
09-28
例如，你可以使用DataX从MySQL数据库抽取数据，然后将其导入到Hadoop HDFS或阿里云OSS中。DataX具有良好的扩展性，可以处理复杂的同步任务，包括结构化、半结构化和非结构化数据。 水滴（可能是“Droplet”的中文...
go-sql-driver.zip
11-26
在本文中，我们将深入探讨`go-sql-driver.zip`中包含的`go-sql-driver`，这是一个用于Go语言（Golang）的MySQL数据库驱动。这个驱动程序使得在Go应用程序中与MySQL服务器进行交互变得简单而高效。我们将会讨论其版本...
Go-GoMySQLDriver一个轻量级和快速的MySQL驱动Go程序
08-13
Go MySQL Driver 一个轻量级和快速的MySQL驱动Go程序
go MySQL批量_使用Go对数据库批量更新
weixin_35342955的博客
01-18 710
package mainimport ("database/sql""flag""fmt"_ "github.com/go-sql-driver/mysql""log""regexp""strconv""time")var limit int // 设置limitvar name stringvar password stringtype Volume struct { // 搜索对象的结构体Vo...
【go-zero】go-zero mysql batch update go批量修改 sqlx NewBulkInserter 实现
CTRA®王大大技术中心
06-13 1629
一、go批量操作问题 在go基本没有一个现成的轮子可以直接完成批量修改的操作（可能没找到欢迎指正） 如果直接使用for+insert的方式，本人又感觉很low（当然可以使用协程） 二、go-zero sqlx go-zero sqlx 基本使用方法链接 1、原生 mysql 批量操作 .........
php artisan migrate 迁移顺序_用 Golang 处理数据库迁移
weixin_39709178的博客
12-05 208
最近在 r/reddit 中不断出现 *我如何使用 Go 来完成数据库迁移？* 对于我和大多数人这种从其他语言例如 PHP 或是 Ruby 转到 Go 的人来说，数据库迁移在这些语言上已经不是什么问题了。例如 Ruby 的 Rails 和 PHP 的 Laravel。但我如何在 Go 中复制这种功能呢？同时考虑到框架是 Go 中的反模式这一事实。举个例子，在在 Rails 和 Laravel 中可...
Golang批量更新数据进mysql数据库操作
ic_xcc的博客
12-03 2471
Golang批量更新数据进mysql数据库操作前言结构体数据结构体参数结构体路由控制层数据库操作postman参数和效果json参数返回效果截图效果 前言 因最近项目需要，在模版表对应的字段表中存在一对多关系，需要根据模版id批量插入字段表中多条字段数据，于是记录一下实现步骤 项目运用go :1.16.3版本；xorm数据库；gin框架结构；数据库mysql 结构体 数据结构体 // 模版信息 type Template struct { TemplateId int64 `json:"templa
go语言批量写入mysql, 记录不存在insert, 已存在则update
dklalun的专栏
12-17 601
go语言批量写入mysql, 记录不存在insert, 已存在则update,拼sql有点麻烦,但是处理速度非常快. func WrapStringInSymbol(Symbo1Start , str , SymbolEnd string) string{ //e.g. "(" + strings.Join(arr, ",") + ")" return Symbo1Start + str + SymbolEnd } func WrapStringInBracket(str string)...
批量保存到mysql_关于保存批量数据进入mysql
weixin_42349645的博客
01-20 815
提出的要求：生成13位纯数字的卡号与8位纯数字的卡密，要求卡号与卡密都必须全表唯一，然后保存到mysql。思路：1.首先mysql中将这两个字段设置唯一索引，保证这两个字段的值在该表中是唯一存在的2.卡号是有序增长的，实现比较容易，先查询数据库中该字段的最大值，然后进行增长生成3.卡密是无序的，实现起来有些困难，(网上查找和经过多次运行结果，发现随机数的重复率是处于最低，所以选定了随机生成)，查询...
使用go给mysql增加海量数据
go含羞草
12-03 3448
用mysql创建一个数据库 这里创建 test_big 数据库 创建表 CREATE TABLE `student` ( `id` bigint(20) NOT NULL AUTO_INCREMENT COMMENT '主键', `user_name` varchar(255) DEFAULT NULL COMMENT '姓名', `add_time` timestamp NOT N...
mysql批量导入数据的工具
07-27
您可以使用MySQL自带的命令行工具或者第三方工具来批量导入数据。以下是两种常用的方法： 1. 使用MySQL命令行工具： - 将待导入的数据保存为文本文件，每行代表一条记录，字段之间使用制表符或逗号分隔。 - 打开...

“相关推荐”对你有帮助么？

  • 非常没帮助
  • 没帮助
  • 一般
  • 有帮助
  • 非常有帮助
提交
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值