mysql 批量导入脚本

原创 2015年11月21日 15:14:43

上周用kettle做了对双十一数据统计程序,为了验证数据的准确性,就从生产库导出了双十一全天的数据,然后导入测试库去做验证。发现表实在是有点多,如果每次只导入单张表,工作量挺大,而且基本都是重复的工作,经过网上的各种搜索和老大的指点,现将实现方法总结如下:

方法一:

1.1新建一个batchImport.sql的文件,然后在这个文件里面写入你每个需要导入的脚本名称。如下:

/User/xx/sql/1.sql

/User/xx/sql/2.sql

/User/xx/sql/3.sql

/User/xx/sql/4.sql

.......

注:在linux下可以通过这个命令批量将所有的脚本写入,find/User/xx/sql -name "*.sql" | awk '{print "source " $1}' | tee batchImport.sql

1.3 进入mysql,选择你要导入的库;

1.4 执行下sourcebatchImport.sql,就会将batchImport.sql中得脚本批量导入;

方法二:

利用linux 命令执行批量导入;

find/User/xx/sql -name "*.sql" |xargs cat | mysql -uuserName -p db 即可


版权声明:本文为博主原创文章,未经博主允许不得转载。

从MySQL导入导出大量数据的程序实现方法

  • 2010年10月07日 09:44
  • 24KB
  • 下载

mysql 批量导入脚本

上周用kettle做了对双十一数据统计程序,为了验证数据的准确性,就从生产库导出了双十一全天的数据,然后导入测试库去做验证。发现表实在是有点多,如果每次只导入单张表,工作量挺大,而且基本都是重复的工作...
  • maxam0128
  • maxam0128
  • 2015年11月21日 15:14
  • 381

批量导入sql文件(shell脚本)

内容如下: #!/bin/bash p="/tmp" dbUser='root' dbPassword='123' dbName='zh' cd $p; for f in `ls $p/*.sql` ...
  • ZH5610
  • ZH5610
  • 2017年05月31日 17:53
  • 804

linux下批量导入sql文件

使用shell脚本循环写入。Linux下你可以有两种方式执行Shell脚本:1、用shell程序执行脚本:根据你的shell脚本的类型,选择shell程序,常用的有sh,bash,tcsh等(一般来说...
  • qq_33877149
  • qq_33877149
  • 2018年01月02日 13:33
  • 209

mysql批量插入

对于一些数据量较大的系统,数据库面临的问题除了查询效率低下,还有就是数据入库时间长。特别像报表系统,每天花费在数据导入上的时间可能会长达几个小时或十几个小时之久。因此,优化数据库插入性能是很有意义的。...
  • zxjiayou1314
  • zxjiayou1314
  • 2016年10月27日 09:56
  • 2058

分享MSSQL、MySql、Oracle的大数据批量导入方法及编程手法细节

1:MSSQL SQL语法篇: BULK INSERT [ database_name . [ schema_name ] . | schema_name . ] [ table...
  • cyq1162
  • cyq1162
  • 2016年11月23日 12:18
  • 591

MySQL批量导入Excel、txt数据

我想Excel是当今最大众化的批量数据管理软件了吧,所以我们会经常涉及到将Excel中数据导入到MySQL中的工作。网上有一些关于直接将Excel导入MySQL的教程,不知道是我安装的office不对...
  • yuanbohx
  • yuanbohx
  • 2011年07月31日 15:27
  • 44272

使用SQLyog在进行l批量Mysql数据导入时报错解决方法

在利用SQLyog进行l批量Mysql数据导入时报错,发现是因为导入的数据量过大。 解决方法: 1、找到Mysql的安装目录,一般在C:\Program Files (x86)\MySQL\MyS...
  • bluemoonstars1977
  • bluemoonstars1977
  • 2015年09月12日 22:49
  • 1842

批量导入

WHY?为什么要有导入数据?           我觉得,这个问题,完全就是个摆设。。不过还是保持套路的一致性吧。。           导入,我认为依旧是站在用户体验度的角度去思考问题,当用户要往系...
  • binggetong
  • binggetong
  • 2017年01月08日 17:04
  • 278

Mysql 大量数据快速导入导出

【实验背景】 项目中需要对数据库中一张表进行重新设计,主要是之前未分区,考虑到数据量大了以后要设计成分区表,同时要对数据库中其他表做好备份恢复的工作。 【实验环境】 ...
  • u012129558
  • u012129558
  • 2016年09月05日 11:01
  • 1060
内容举报
返回顶部
收藏助手
不良信息举报
您举报文章:mysql 批量导入脚本
举报原因:
原因补充:

(最多只允许输入30个字)