Mysql导入导出亿条数据（排坑篇）

最新推荐文章于 2024-10-01 22:26:58 发布
最新推荐文章于 2024-10-01 22:26:58 发布
阅读量2.5k 收藏 20
点赞数 2
分类专栏： Mysql 文章标签： mysql 数据库 运维
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/ITRugod/article/details/106971027
版权

声明:这是我在大学毕业后进入第一家互联网工作学习的内容

背景：公司业务需要给某个活动的支付宝用户发送模板消息

经调查发现，此次活动的用户数量大约2亿，为了模拟生产环境，领导让我把生产库的用户信息（脱敏）拉到开发库，让开发写好程序读取数据并推送消息。

排坑1：Navicat

由于我对Mysql不是很了解，在数据同步前我事先问了下公司的DBA应该如何操作：使用navicat的数据传输功能。

环境：Navicat Premium 12

  • 操作：
  • 1.点击工具列表的数据传输
  • 2.选择源数据库及目标数据库
  • 3.选择表（默认全表）
  • 4.点击开始
    mysql01.jpg

mysql02.jpg

mysql03.jpg

过程

数据传输速度大约1分钟20w条数据，传完大概得8个多小时，我挂机了一段时间后再看进度发现数据传

最低0.47元/天 解锁文章
Rugod
关注
专栏目录
mysql二亿大表_面对有2亿条数据的mysql表
weixin_34304538的博客
01-21 1510
看到这个2亿5千条数据的表，我的内心是拒绝的，各种条件筛选要取出相应的数据，被折磨了两天，现在记录下心路历程先分享下mysql相关的知识点1 名词解释主键(PRIMARY KEY): 唯一索引，不能重复组合主键(UNIQUE): 组合索引，若干个字段组成一个主键2 SELECT必备 – EXPLAIN使用EXPLAIN来查看sql语句是否能命中索引，量大的表必须要命中索引才能执行，也还得看以下条件...
mysql 导入导出数据库、数据表的方法
09-10
MySQL是世界上最流行的关系型数据库管理系统之一，用于存储和管理数据。在日常的数据库管理工作中，导入和导出数据库或数据表是...通过熟练掌握这些MySQL的导入导出技巧，你可以有效地管理和维护数据库，提高工作效率。
Hadoop 从入门到精通----leo学习编程不良人视频的笔记--part01
狗剩的专栏
12-14 690
Hadoop 从入门到精通----编程不良人 ( 25 小时 ) https://www.bilibili.com/video/BV17E411g7F2 // A code block var foo = 'bar'; // A code block var foo = 'bar'; // A code block var foo = 'bar'; // A code block var foo = 'bar'; // A code block var foo = 'bar'; // A c
MySQL 大数据量导入与导出全攻略
最新发布
我爱娃哈哈的专栏
10-01 828
处理大数据量的导入和导出是 MySQL 数据库管理中的一个重要任务。通过合理地选择导出和导入方法，以及优化操作过程，可以提高数据处理的效率和可靠性。同时，使用工具如 XtraBackup 可以进行高效的备份和恢复操作。需要注意数据的完整性和一致性，以及对系统资源的合理利用。文章（专栏）将持续更新，欢迎关注公众号：服务端技术精选。。个人小工具程序上线啦，通过公众号（服务端技术精选）菜单【个人工具】即可体验，欢迎大家体验后提出优化意见！500个访问欢迎大家踊跃体验哦~
Mysql 导入3亿数据
胡汉三
07-01 1016
前言 q时间，以前的同事问我，Mysql能不能导入3亿的数据。我脑子当时翁的一下，不太确定的说应该可以导入的吧！只是导入进去以后，可能会出现查询过慢的情况。 于是马上百度了一下，发现有人干过这种事情，在Mysql上面导入亿级的数据（文章链接）。根据这篇文章的介绍，知道了原有的几个坑。 第一个注意事项：索引 第一个注意事项就是索引。建表的时候除了主键不要给别的字段建立索引。因为索引也需要创建，当我们数据量过大的时候就要注意，这个时候创建索引会导致我们的数据导入时间无限拉长。只需要留下一个自增ID做主
mysql的全量导出_如何在下班前全量导出mysql的10亿数据到U盘？
weixin_31119637的博客
01-20 864
#前情提要上头的上头一句话，把这一堆日表从今年1月份开始的所有数据导出来，方便审计人员核对。然后把所有数据整合起来，每100w条导出成一个单独的文件，行内容按照csv的文本格式组织。简简单单几句话，其实里面的坑多的是：#实现难点*数据量大:*因为业务的特殊性，这一堆表的数据是可以预先生成的，虽然现在才3月份，但是最新的一张表已经去到了2022年，总计有2000+张日表。其次因为是消费流水数据，所以...
mysql单表2亿无索引数据，迁移到hive中并分区存放
一个处女座技术的专栏
10-14 682
无索引数据有几十G，用sqoop导入进度太慢，等待很久map还是0% 所以才去分而治理 1、先用mysql导入到csv文件中，顺序扫描并保存到文件中 select * from t_swmx_sl into outfile 't_swmx_sl.csv' fields terminated by '\001' lines terminated by '\n' ; 用时间：11:17-> 2、后加载到hadoop中 3、创建hive表 4、再加载到hive中 5、创建hive分区表 6、用
php excel导入导出，php导入mysql,mysql 数据导出为excel
06-09
本项目包含一个带样式的小实例，页面可以直接导入数据，导入的数据存入mysql数据库，也可以导出excel，导出excel文件位于downloads目录下， 需要将较长的样本数据从 Excel 文件导入到 MYSQL 数据库，此项目包含一个 ...
MySQL数据库迁移快速导出导入大量数据
09-09
首先，直接导出数据并将其在新服务器上导入是最常见的方式。使用`mysqldump`命令可以导出整个数据库或特定表的数据，然后在目标服务器上使用`mysql`客户端导入。这种方法的优点在于兼容性好，可以灵活处理各种需求，...
HeidiSQL工具导出导入MySQL数据
09-09
HeidiSQL是一款轻量级且用户友好的MySQL数据库管理工具，它提供了便捷的数据导出和导入功能，使得数据库的迁移和备份变得更加简单。在本文中，我们将深入探讨如何使用HeidiSQL来完成这些任务。 首先，我们要导出...
Mysql 千万级表数据 导出导入
曾沂宏的博客
02-02 3490
背景 有： 服务器A：有一张表A，单表1500万条数据（未来会更多）表占用的空间大小6G. 服务器B：从服务器A把表A导过来，插入表B（服务器配置 2核8G） 过程 作为一个传统的有经验的老菜鸟，通过 mysqldump 命令整个表备份，上传到服务器B后再通过source命令还原，这条路首先放弃了。 1、通过脚本，每次从表A查询1000条数据，插入表B select * from table_A limit 1000 offset 0; 脚本写好了，耐心等待，两三个小时过去了，发现并没有多少数据导过来。 一
十亿数据量之mysqlpump备份.sql文件
热爱编程的谢同志
11-19 1066
mysqlpump -h[服务器ip地址] -P[端口号] -u[用户名] -p[密码] [数据库名] --column-statistics=0 test > test.sql mysqlpump是mysql5.7版本之后所支持的 不管是mysqldump还是mysqlpump,其备份效率要考虑服务器的带宽问题,在带宽没有全部占满的情况下,服务器负载不是很高去执行命令 mysqldump是一个单线程备份 亲测:十亿的表数据,在执行mysqlpump命令导出sql文件,我所运行的带宽速度最快6M
数据库分库分表策略（转载)
漫长学习路
10-15 704
一、分库分表的背景 在数据爆炸的年代，单表数据达到千万级别，甚至过亿的量，都是很常见的情景。这时候再对数据库进行操作就是非常吃力的事情了，select个半天都出不来数据，这时候业务已经难以维系。不得已，分库分表提上日程，我们的目的很简单，减小数据库的压力，缩短表的操作时间。 二、如何进行数据切分 数据切分（Sharding），简单的来说，就是通过某种特定的条件，将存放在同一个数据库中的数据拆...
MySql 数据量大时 快速 导入&导出
咳咳，请多指教
10-22 1609
load data local infile '/var/lib/mysql/name.txt' into table pharmacy fields terminated by '\t' lines terminated by '\n' ignore 1 lines (id,pid,storage_id,tag,pzwh,file_id,is_out,code,created_at,updated_at,deleted_at); mysql --default-character-set=utf8 -u
mysql快速导出30万数据_Mysql 大量数据快速导出
weixin_32736623的博客
02-07 1520
mysqldump-uroot-p-q-e-twebgps4dn_location2>dn_location2.sqlmysqldump-uroot-p-q-e-t--single-transactionwebgps4dn_location2>dn_location2.sqlsourcedn_location2.sql以上是导入导出数据的...
mysql 导出数据 prive_mysql 导出导入数据（千万级数据量）
weixin_42399388的博客
01-30 308
mysql 导出导入数据(千万级数据量)2020/07/31 17:23Mysql一、mysqldump(适合数据量少的导出导入)1、导出mysqldump -h 127.0.0.1 -P 3306 -uroot -p database > /root/test.sql #导出库mysqldump -t datebase -h 127.0.0.1 -P 3306 -uroot -p t...
如何在MySQL中导入超大的sql文件？
Aquilian的专栏
06-24 3041
小伙伴们在开发过程中，有时候会遇到新环境数据迁移问题，需要把之前的数据库导入到新环境，其中一种方式就是通过导入sql文件。我们可以在客户端sqlyog或者navicat中直接导入（此种方式比较慢），也可以通过source命令导入（速度会比较快）。 但是，如果我们的sql文件过大，比如超过了1G，导入过程可能会遇到一些问题，比如“Out of memory”（内存不足）或者“mysql server has gone away”（一般是操作sql文件时间过长，导致超时，client端和...
Java 亿万级数据导出到Excel
Jerry_wo的博客
07-08 5342
由于项目需要，处理百万级数据导出问题。 直接开始撸代码~ 导入依赖 <!-- 文件导出--> <dependency> <groupId>org.apache.poi</groupId> <artifactId>poi</artifactId> <version>3.17</version> </d
使用MySQL导入亿级数据：load data local infile
weixin_45761659的博客
07-26 6818
文章目录使用MySQL命令load data local infile导入亿级数据需求解决方案1、使用 Navicat2、使用load data local infile遇到的问题1：ERROR 1148 (42000)解决办法3、结果 使用MySQL命令load data local infile导入亿级数据 需求 研究车联网，手中有一个16G左右的数据，为了能够方便处理数据，需要将数据存入MySQL中 解决方案 1、使用 Navicat 1、先建表 2、导入向导，选择源文件的格式 导入小数据速度还可以，
提升MySQL数据导入导出效率的解决方案
3. 提升MySQL导入导出性能的方法： 描述中提到使用特定的工具或方法可以使得MySQL的导入导出操作的效率提升7到8倍，这通常涉及到以下几种方式： - 使用MySQL的企业级工具如MySQL Workbench，或者第三方数据迁移工具...
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值