从 MySQL 导入导出大量数据的程序

原创 2004年10月02日 14:20:00

从 MySQL 导入导出大量数据的程序

 
作者: 紫竹
加入时间: 2003-11-22
浏览次数: 184

大家一定使用过 phpmyadmin 里面的数据库导入,导出功能,非常方便。但是在实际应用中,我发现如下几个问题:

1 数据库超过一定尺寸,比如6M 这时使用导出一般没问题,可以正确的保存到本机硬盘上面,但是导入则不行!原因是:一般的 PHP.INI 里面设置临时文件/上传文件的大小限制为2M,而phpmyadmin使用了上传的方式,造成失败。

2 导出到硬盘的 .SQL 文件在导回时,经常出现由于某些单引号的问题引起失败,造成导入失败,只能用 mysql等应用程序导入了。

我的数据库已经超过10M,所以必须解决这个问题。我的思路:

导出: 用phpmyadmin 保存数据库/表格结构,用脚本读取数据库内容并保存到文件里面!
导入: 用phpmyadmin 恢复数据库/表格结构,用脚本读取文件,然后保存到库里面!

导出程序如下:调用方法为 ****.php?table=tablename
这个简单的程序目前一次保存一个表格!!每行为一个字段的数据!!

<?
if($table=="")exit();
mysql_connect("localhost","name","password");
mysql_select_db("database");
$result = mysql_query("select * from $table");
if(mysql_num_rows($result) <= 0) exit();
echo "开始转换数据到文本...
";
$handle = fopen("$table.txt","w");
$numfields = mysql_num_fields($result);
fputs($handle,$numfields."rn");
for($k=0;$k{
$msg = mysql_fetch_row($result);
for($i=0;$i<$numfields;$i++)
{
$msg[$i] = str_replace("rn"," ",$msg[$i]);
$msg[$i] = str_replace("n" ," ",$msg[$i]);
fputs($handle,$msg[$i]."rn");
}
fputs($handle,"------- php2000 dump data program V1.0 for MySQL --------rn");
}
fclose($handle);
echo "ok";
?>

导入的程序如下:用法同上面!

<?
if($table=="")exit();
mysql_connect("localhost","name","password");
mysql_select_db("database");
$message = file("$table.txt");
echo $numfields = chop($message[0]);
for($k=1;$k{
$value="";
for ($i=$k;$i<($k+$numfields-1);$i++)
{
$tmp = str_replace(" ","rn",chop($message[$i]));
$value .= "'".addslashes($tmp)."',";
}
$tmp = str_replace(" ","rn",chop($message[$k+$numfields-1]));
$value .= "'".$tmp."'";
$query = "insert into $table values (".$value.")";
echo mysql_error();
mysql_query($query);
echo $k." ";
}
echo "ok";
?>

使用方法和可能的问题!
1 导入时 file()函数可能会有问题(我的10M的数据没出现问题),可以改为 fopen()然后没次读一行!!
2 导入,导出都需要用 ftp 操作,也就是导出后,用 ftp 把数据转到本机,导入时先用ftp转移数据到服务器!
">">

MySQL导入导出大量数据

1.MySQL导入数据命令:    由于phpmyadmin导入数据最大为2M,所以大于2M的数据可以通过下面方法导入:    mysql -h localhost -u root -p    sou...
  • guosong421
  • guosong421
  • 2008年10月18日 09:00
  • 330

Mysql大量数据快速导入导出

一般的数据备份用 :mysql路径+bin/mysqldump -u 用户名 -p 数据库名 > 导出的文件名  数据还原是:到mysql命令行下面,用:source   文件名;的方法。 但是这种方...
  • u011305922
  • u011305922
  • 2015年02月06日 17:26
  • 5222

Mysql 大量数据快速导入导出

【实验背景】项目中需要对数据库中一张表进行重新设计,
  • xiaobaismiley
  • xiaobaismiley
  • 2014年11月11日 21:21
  • 47252

mysql大数据表导入导出

客户那一台流量分析设备需要给更换成新设备,但要求保留之前的流量分析数据,查看了一下流量分析表情况,发现有几张分钟粒度的数据表数据量达到几亿条以上,数据库使用的是mysql,使用mysql 的导入导出工...
  • chance87
  • chance87
  • 2013年12月18日 11:37
  • 1305

mysql 大量数据处理问题

一、大量数据存储问题解决方法 分区、分表 原则:多利用点内存,减轻磁盘IO负载,因为IO往往是数据库服务器的瓶颈  区别: 1,实现方式上  mysql的分表是真正的分表,一张表分成...
  • ichasel
  • ichasel
  • 2015年04月21日 10:45
  • 1256

MySQL导入导出大量数据的程序实现方法

  • zgqtxwd
  • zgqtxwd
  • 2008年05月01日 00:20
  • 110

MySQL导入导出大量数据的程序实现方法

  1 数据库超过一定尺寸,比如6M 这时使用导出一般没问题,可以正确的保存到本机硬盘上面,但是导入则不行!原因是:一般的 PHP.INI 里面设置临时文件/上传文件的大小限制为2M,而phpmyad...
  • fish_zhang
  • fish_zhang
  • 2007年04月23日 21:44
  • 1682

从 MySQL 导入导出大量数据的程序实现方法

  • piperzero
  • piperzero
  • 2008年11月19日 12:40
  • 856

Struts2 数据导入导出

使用Struts2 结合POI 完成Excel 文件的数据导入导出 1. 导入 Excel 数据                在web 应用中需要将excel 文件中的数据导入到系统,保存到...
  • jielianhua
  • jielianhua
  • 2011年08月22日 23:36
  • 2609

从MySQL导入导出大量数据的程序实现方法

大家一定使用过 phpmyadmin 里面的数据库导入,导出功能,非常方便。但是在实际应用中,我发现如下几个问题: 1 数据库超过一定尺寸,比如6M 这时使用导出一般没问题,可以正确的保存到本机硬盘上...
  • free_kyy
  • free_kyy
  • 2007年02月28日 10:19
  • 540
内容举报
返回顶部
收藏助手
不良信息举报
您举报文章:从 MySQL 导入导出大量数据的程序
举报原因:
原因补充:

(最多只允许输入30个字)