(转载)Mysql导入数据相当慢

版权声明:本文为博主原创文章,遵循 CC 4.0 by-sa 版权协议,转载请附上原文出处链接和本声明。
本文链接:https://blog.csdn.net/tylai520/article/details/6204365

导入数据的方法

导出(备份):mysqldump -u 用户名 -p databasename >exportfilename

导入(还原):方法一 mysql -u 用户名 -p databasename

方法二 进入MySQL数据库控制台 use 数据库名,之后:source importfilename

导入数据非常慢
将JQ1中的方案导出,然后导入到JQ2的中(导出的数据文件有90M)。上面两种方法都使用了,但是没有成功,或者说是十分慢(估计1,2天才能完成)。

解决办法(十几分钟可以导完):

查看JQ2的mysql参数:
show variables like 'max_allowed_packet';
show variables like 'net_buffer_length';
两个结果分别是:1047552 和 16384

从JQ1上导出数据:
mysqldump -uroot -pXXX 方案名 --skip-opt --create-option --set-charset --default-character-set=gbk -e
--max_allowed_packet=1047552 --net_buffer_length=16384 > 导出的文件路径和文件名

注意:max_allowed_packet和net_buffer_length不能比目标数据库的设定数值大,否则可能出错。

-e 使用包括几个VALUES列表的多行INSERT语法;
--max_allowed_packet=XXX 客户端/服务器之间通信的缓存区的最大大小;
--net_buffer_length=XXX TCP/IP和套接字通信缓冲区大小,创建长度达net_buffer_length的行。

也就是此参数指定了一个缓存区的大小,用来存放用户发送的SQL语句。若接收的SQL语句大于这个缓存区,则自动增加大小,直到max_allowed_packet

将导出的数据导入至JQ2中
./mysql -uroot -pXXX --default-character-set=gbk 方案名<导出的文件路径和文件名
这样导入相当于每次执行多条sql语句,快了很多

展开阅读全文

VB ODBC方式更新MYSQL数据库表相当相当慢!!

03-15

rn我用VB写了一个程序,通过VB用ODBC方式访问数据库,对数据进行处理。以前后台我用的是ACCESS数据库,更新速度相当快!rn现在后台改用MYSQL了,同样还是用ODBC方式访问后台MYSQL数据库,且处理同一批数据,我发现后台改用MYSQL更新数据速度相当相当慢!!!计算机负荷很高,在任务管理器中发现一个叫 "mysqld-nt.exe"进程负荷在数据更新期间一直在50%左右 ,我的CPU 是P4 3.2GHz的双核INTEL CPU ,内存4Gbytes,硬件配置应当没有问题,而且之前用ACCESS处理数据,相当快,20万条数据,基本上6分钟搞定了,而改用MYSQL后1小时还没有处理完呢,CPU负荷相当高,慢的实在不可接受,真的是太慢了。rnrn注:ACCES 和 MYSQL中的后台表我均没有建索引。rnrn请高手指教,非常感谢!!rnrn相关信息:MYSQL版本:MySQL Server 5.0 rnrn相关VB代码:rnrnDim session_id As DoublernDim mysql_cnn As New ADODB.ConnectionrnDim record_set As New ADODB.RecordsetrnSet mysqlcmd = New ADODB.CommandrnDim mysql_ConnStr As Stringrnrnmysql_ConnStr = "DRIVER=MySQL ODBC 3.51 Driver;" & _rn "SERVER=" & "localhost" & ";" & _rn "DATABASE=" & "test" & ";" & _rn "UID=" & "root" & ";PWD=" & ";" & _rn "OPTION=3;stmt=SET NAMES GB2312"rnrnmysql_cnn.Open mysql_ConnStrrnrnmysqlcmd.ActiveConnection = mysql_cnnrnrnrecord_set.Open "select * from my_list_tbl where DLR=-1 AND SLR<>-1 ORDER BY my_list_tbl.time_id ", mysql_cnn, adOpenForwardOnly, adLockOptimisticrnrnsession_id = 1rnrnDo Until record_set.EOFrnrnrecord_set.Fields(19) = session_id '更新session_id 字段rnrnsession_id = session_id + 1rnrnrecord_set.MoveNextrnrnLooprnrnrecord_set.Closernrnmysql_cnn.Closernrn本程序段的功能没有问题,就是更新数据相当慢!!!rnrnMYSQL 表定义:rnrnCREATE TABLE `my_list_tbl` (rn `f1` varchar(25) default NULL,rn `f2` varchar(20) default NULL,rn `f3` varchar(20) default NULL,rn `f4` varchar(20) default NULL,rn `f5` varchar(20) default NULL,rn `DLR` bigint(20) default '-1',rn `SLR` bigint(20) default '-1',rn `f8` varchar(20) default NULL,rn `f9` varchar(20) default NULL,rn `f10` varchar(20) default NULL,rn `f11` varchar(20) default NULL,rn `f12` varchar(20) default NULL,rn `f13` varchar(30) default NULL,rn `f14` varchar(30) default NULL,rn `f15` varchar(80) default NULL,rn `f16` varchar(10) default NULL,rn `f17` varchar(50) default NULL,rn `time_id` bigint(20) default NULL,rn `f19` bigint(20) default NULL,rn `session_id` bigint(20) default NULL,rn `f21` tinyint(4) default NULL,rn `f22` tinyint(4) default NULL,rn `f23` double(20,0) default NULLrn) ENGINE=InnoDB DEFAULT CHARSET=latin1;rnrnrnrnrn 论坛

TomCat在MyEclipse里启动相当慢!

11-30

[code=text]rn2012-11-30 15:43:09 org.apache.catalina.core.AprLifecycleListener initrn信息: Loaded APR based Apache Tomcat Native library 1.1.22.rn2012-11-30 15:43:09 org.apache.catalina.core.AprLifecycleListener initrn信息: APR capabilities: IPv6 [false], sendfile [true], accept filters [false], random [true].rn2012-11-30 15:43:10 org.apache.coyote.AbstractProtocol initrn信息: Initializing ProtocolHandler ["http-apr-9090"]rn2012-11-30 15:43:10 org.apache.coyote.AbstractProtocol initrn信息: Initializing ProtocolHandler ["ajp-apr-8009"]rn2012-11-30 15:43:10 org.apache.catalina.startup.Catalina loadrn信息: Initialization processed in 939 msrn2012-11-30 15:43:10 org.apache.catalina.core.StandardService startInternalrn信息: Starting service Catalinarn2012-11-30 15:43:10 org.apache.catalina.core.StandardEngine startInternalrn信息: Starting Servlet Engine: Apache Tomcat/7.0.22rn2012-11-30 15:43:10 org.apache.catalina.startup.HostConfig deployDirectoryrn信息: Deploying web application directory docsrn2012-11-30 15:43:10 org.apache.catalina.startup.HostConfig deployDirectoryrn信息: Deploying web application directory ERPxxcrn2012-11-30 15:43:14 org.apache.catalina.core.ApplicationContext logrn信息: Initializing Spring root WebApplicationContextrnlog4j:WARN No appenders could be found for logger (org.springframework.web.context.ContextLoader).rnlog4j:WARN Please initialize the log4j system properly.rn2012-11-30 15:43:43 org.apache.catalina.startup.HostConfig deployDirectoryrn信息: Deploying web application directory examplesrn2012-11-30 15:43:44 org.apache.catalina.core.ApplicationContext logrn信息: ContextListener: contextInitialized()rn2012-11-30 15:43:44 org.apache.catalina.core.ApplicationContext logrn信息: SessionListener: contextInitialized()rn2012-11-30 15:43:44 org.apache.catalina.core.ApplicationContext logrn信息: ContextListener: attributeAdded('org.apache.jasper.compiler.TldLocationsCache', 'org.apache.jasper.compiler.TldLocationsCache@e20ef8')rn2012-11-30 15:43:44 org.apache.catalina.startup.HostConfig deployDirectoryrn信息: Deploying web application directory host-managerrn2012-11-30 15:43:44 org.apache.catalina.startup.HostConfig deployDirectoryrn信息: Deploying web application directory managerrn2012-11-30 15:43:44 org.apache.catalina.startup.HostConfig deployDirectoryrn信息: Deploying web application directory ROOTrn2012-11-30 15:43:44 org.apache.coyote.AbstractProtocol startrn信息: Starting ProtocolHandler ["http-apr-9090"]rn2012-11-30 15:43:44 org.apache.coyote.AbstractProtocol startrn信息: Starting ProtocolHandler ["ajp-apr-8009"]rn2012-11-30 15:43:44 org.apache.catalina.startup.Catalina startrn信息: Server startup in 34602 msrnrn[/code]rn这是MyEclipse启动tomcat的信息,我把tomcat目录下的webapps除了自带的就剩下一个项目,而且MyEclipse的断点全部清除了。用MyEclipse启动tomcat后网页访问也要停个10秒左右才能访问成功。 rn但是如果用tomcat bin目录下的startup.bat启动一般都是3000多ms就好了。而且访问网页最多不超过3秒。rn求大神啊!!! 论坛

没有更多推荐了,返回首页