Mysql插入大量数据时报错

已于 2023-04-22 10:35:30 修改
阅读量1k 收藏 1
点赞数
文章标签： mysql 数据库 sql
于 2023-04-22 10:31:52 首次发布
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/qq_39551014/article/details/130301473
版权

情景：有一个包含19万条数据的sql文件，通过文件导入用 mysqli_multi_query($con, $sql) 执行插入数据表，插入失败，返回false。

原因：Mysql有个max_allowed_packet 参数，直译为“最大允许数据包”，即最大允许上传的数据包大小，修改前这里的值是36M，sql文件大小为169M，超出了限制，把这里的值改大为200M再次导入sql文件执行成功。

注意：修改完一定要重启mysql服务，否则不生效。

修改方法：找到mysql的配置文件，搜索max_allowed_packet，以下为宝塔示例


                

        

        

    

  


    


                



	

		

			

				
					
在JAVA向Mysql的数据库中插入数据过大所遇到的问题

				
			

			

				

					caojiaxin19970801的博客
				

				

					11-16
					
					760
					
				

			

		

		

			
				
在JAVA向Mysql的数据库中插入数据过大所遇到的问题，是因为Mysqlxitong 的参数中MySQL的一个系统参数：max_allowed_packet，其默认值为1048576(1M)，说明程序中所要插入的数据超过了这个限值。 解决的办法就是在Mysql的安装目录下修改此变量的值，在安装目录下找到my.ini文件，在文件中修改max_allowed_packet的值，例如将max_allowed_packet=1M改成max_allowed_packet=4M(或者可以改更大，根据自己的需求进行更改

			
		

	



                

            
              



	

		

			

				
					
docker+mysql 执行存储过程构造大量测试数据

				
			

			

				

					猕猴桃的博客
				

				

					10-18
					
					231
					
				

			

		

		

			
				
docker拉取mysql镜像并导入sql文件执行


#拉取镜像
$ docker pull mysql:5.7
#查看镜像
$ docker images
#运行docker  mysql密码123456  宿主机端口号3306 映射 容器端口号3306
$ docker run -itd --name mysql-test -p 3306:3306 -e MYSQL_ROOT_PASSWORD=123456 mysql:5.7
#查看进程  可以找到运行的容器id
$ docker ps
#进入容器 

			
		

	



              


  
              

                


	

		

			

				
					
Mysql使用insert插入多条记录 批量新增数据

				
			

			

				

					12-16
				

			

		

		

			
				
如果要向table1中插入5条记录，下面写法是错误的：

INSERT INTO table1 (id,name) VALUES(1,小明,2,小强,3,小杜,4,小李,5,小白);
MySQL将会抛出下面的错误

ERROR 1136: Column count doesn't match value count at row 1
而正确的写法应该是这样：

INSERT INTO t able1(i,name) VALUES(1,'小明'),(2,'小强'),(3,'小杜'),(4,'小李'),(5,'小白');
当然，这种写法也可以省略列名，这样每一对括号里的值的数目必须一致，而且这个数

			
		

	





	

		

			

				
					
mysql 导入大.sql文件报错解决方法

				
			

			

				

					q563725880的专栏
				

				

					02-23
					
					497
					
				

			

		

		

			
				
临时修改：执行指令 set global max_allowed_packet = 1024*1024*200；（这里的大小只能填写字节。重启mysql服务后，配置将会失效！

			
		

	



		

			
		



	

		

			

				
					
mysql 批量插入时，部分失败

				
			

			

				

					alex的博客
				

				

					10-15
					
					1万+
					
				

			

		

		

			
				
在项目中,会遇到批量插入数据，如果还是使用insert into() values(),只要其中有一条数据失败，整个就失败。

在我们项目中，允许失败，正常的数据需要插入成功。

解决方法：

1.insert ignore into

当插入数据时，如出现错误时，如重复数据，将不返回错误，只以警告形式返回。所以使用ignore请确保语句本身没有问题，否则也会被忽略掉。例如：

INSERT IG...

			
		

	





	

		

			

				
					
mysql 批量数据导入报错_MySQL插入大批量数据时报错“The total number of locks exceeds the lock table size”的解决办法...

				
			

			

				

					weixin_39758712的博客
				

				

					02-07
					
					494
					
				

			

		

		

			
				
事情的原因是：我执行了一个load into语句的SQL将一个很大的文件导入到我的MySQL数据库中，执行了一段时间后报错“The total number of locks exceeds the lock table size”。首先使用命令 show variables like '%storage_engine%' 查看MySQL的存储引擎：mysql> show variables...

			
		

	





	

		

			

				
					
Mysql报错Packet for query is too large问题解决

				
			

			

				

					专注基础架构领域
				

				

					12-06
					
					1366
					
				

			

		

		

			
				
原文地址：https://blog.csdn.net/qq_42093488/article/details/80468069

Packet for query is too large (6071393 > 4194304). You can change this value on the server by setting the max_allowed_packet' variab...

			
		

	





	

		

			

				
					
MySQL text插入长文本时报错Incorrect string value xE5x8FxAC.pdf

				
			

			

				

					09-14
				

			

		

		

			
				
4. **优化插入逻辑**：在插入大量文本时，可以考虑使用事务或者批量插入，以提高性能和减少错误发生的可能性。  5. **调试和测试**：对插入操作进行充分的测试，尤其是当处理包含特殊字符和多字节字符的文本时，确保...

			
		

	





	

		

			

				
					
MySQL text插入长文本时报错Incorrect string value xE5x8FxAC.docx

				
			

			

				

					09-13
				

			

		

		

			
				
6. **使用事务**：在执行大量数据插入时，使用事务可以确保数据的一致性，如果出现错误，可以回滚整个操作。  通过以上步骤，你应该能够有效地避免或解决类似“Incorrect string value”这样的错误。记住，对于涉及...

			
		

	





	

		

			

				
					
MySQL 的几种碎片整理方案总结（解决delete大量数据后空间不释放的问题）

				
			

			

				

					m0_67403188的博客
				

				

					07-29
					
					537
					
				

			

		

		

			
				
这其实是一个NULL操作,表面上看什么也不做,实际上重新整理碎片了.当执行优化操作时,实际执行的是一个空的ALTER命令,但是这个命令也会起到优化的作用,它会重建整个表,删掉未使用的空白空间.tbl_nametbl_nameMySQL5.6开始采用Inplace方式重建表，Alter期间，支持DML查询和更新操作，语句为altertabletengine=innodb,ALGORITHM=inplace;...

			
		

	





	

		

			

				
					
1、Mysql批量插入数据_记录发现的问题

				
			

			

				

					qq_45757978的博客
				

				

					02-18
					
					551
					
				

			

		

		

			
				
最近正在学习mysql优化，就想模拟一些数据进行练习，就使用springboot和mybatisplus向mysql中批量插入数据。
由于自己之前过于依赖代码生成器，所以在自己写基础代码的时候由于不太认真，导致在插入过程报错，原因如下：

后来发现是忘记加  **@TableId(type = IdType.AUTO)**注解导致id长度过大，特此截图两张来记录区别，如下：


在查找的过程中还用到了两句SQL
SELECT AUTO_INCREMENT FROM information_schema.ta

			
		

	





	

		

			

				
					
MySQL中，批量插入100条数据到数据库，但其中有随机50条数据是错误的，该怎么处理

					
最新发布

				
			

			

				

					lcb5203344的博客
				

				

					11-15
					
					603
					
				

			

		

		

			
				
在MySQL中，你可以使用"事务"来处理这种情况。事务是一组SQL语句，要么全部执行成功，要么全部失败回滚。通过这种方式，你可以确保在插入数据时出现错误时，能够进行有效的处理，避免部分数据插入导致的数据不一致问题。是判断是否存在错误数据的条件。是你用来检查错误数据的条件，是你要插入数据的表名，是你要插入数据的列名，

			
		

	





	

		

			

				
					
Navicat导入SQL文件报错终极解决方案

					
热门推荐

				
			

			

				

					weixin_42469936的博客
				

				

					07-21
					
					1万+
					
				

			

		

		

			
				
一、不勾选“每个运行中运行多重查询

二、继续报错
修改MySQL配置
1、找到MySQL安装目录下的my.ini配置文件，查找修改max_allowed_packet参数，再增加wait_timeout、interactive_timeout两项参数，详细如下。
1、修改max_allowed_packet参数、增加两项参数
max_allowed_packet：用来控制其通信缓冲区的最大长度。是mysql允许最大的数据包（默认大小4M），遇到大的数据库文件导入时经常报错；
wait_timeout：# 

			
		

	





	

		

			

				
					
mysql批量添加报错_技术分享 | MySQL 在批量插入时捕捉错误信息

				
			

			

				

					weixin_42491590的博客
				

				

					01-21
					
					683
					
				

			

		

		

			
				
原创： 杨涛涛背景本篇文章来源于今天客户问的一个问题。问题大概意思是：我正在从 Oracle 迁移到 MySQL，数据已经转换为单纯的 INSERT 语句。由于语句很多，每次导入的时候不知道怎么定位到错误的语句。 如果 INSERT 语句少也就罢了，我可以手工看，不过 INSERT 语句很多，我怎么定位到是哪些语句出错了，我好改正呢？总不能每次遇到的错误的时候改一下，再重新运行继续改正吧？有没有简...

			
		

	





	

		

			

				
					
MySQL插入大批量数据时报错“The total number of locks exceeds the lock table size”

				
			

			

				

					weixin_51978782的博客
				

				

					07-28
					
					601
					
				

			

		

		

			
				
MySQL插入大批量数据时报错“The total number of locks exceeds the lock table size”解决

			
		

	





	

		

			

				
					
mysql插入太多数据导致MySQL server has gone away

				
			

			

				

					Gary,Done的专栏
				

				

					04-26
					
					1255
					
				

			

		

		

			
				
本博客原文 
另安利一篇我翻译的国外大牛的神经网络入门文章 
最近在一次开发过程中，将数据写入mysql时候总是报MySQL server has gone away的错误，因为mysql就是本地启动的，而且从插入到报错整个过程时间很短，因此不可能是连接方面的timeout一类的问题。最后通过网上搜索，看到了遇到类似问题的帖子，参考作者的做法，问题得到了解决。 
原因是max_allowed_pa

			
		

	





	

		

			

				
					
MySQL导入sql文件，过大导致错误（2006 - MySQL server has gone away）(转载)

				
			

			

				

					mlc19860417的专栏
				

				

					04-14
					
					363
					
				

			

		

		

			
				
mysql8连接java

....后面添加:&serverTimezone=UTC

====================================================================================





创建账号

CREATEUSER'用户名'@'%'IDENTIFIEDBY'密码';
GRANTallpr...

			
		

	





	

		

			

				
					
Mysql 导入sql文件，数据过大，导致报错MySQL server has gone away，解决方案

				
			

			

				

					南极亚拉的博客
				

				

					08-27
					
					419
					
				

			

		

		

			
				
解决MySQL server has gone away1、应用程序长时间的执行批量的MYSQL语句。最常见的就是采集或者新旧数据转化。或者长时间闲置数据库连接（我的项目就是这样）
解决方案：
在my.cnf文件中添加或者修改以下两个变量：


1 wait_timeout=2880000 
2 interactive_timeout = 2880000 

关于两个变量的具体说明可以google或者看官方手册。如果不能修改my.cnf，则可以在连接数据库的时候设置CLIENT_INTERACTIVE...

			
		

	





	

		

			

				
					
MySQL高效批量插入数据技巧

				
			

			

				

					
				

			

		

		

			
				
"本文将介绍如何在MySQL数据库中进行数据的批量插入，提供了一种高效的方法，相较于传统的单条插入，能显著提升插入速度。"  在处理大量数据时，逐条插入的方式会消耗大量时间和系统资源，效率低下。MySQL提供了一个...

			
		

	



              




          




        



    





    



      

      

        
      

      





	

		
评论 1

	

	
	




  

    

      添加红包
      
    

    

      

        
        

          
          
        

        
请填写红包祝福语或标题

      

      

        
        

          
          个
        

        
红包个数最小为10个

      

      

        
        

          
          元
        

        
红包金额最低5元

      

      

        
        

          当前余额3.43元
          前往充值 >
        

      

      

        

          需支付：10.00元
        

        
        
      

    

  





  

    
    
  

  

    
    
  








  

    

      

        

          

            
            
成就一亿技术人!

          

          

        

        

          

          

            领取后你会自动成为博主和红包主的粉丝
            规则
          

        

      

      

        

          

            
              
            
            

              
hope_wisdom
 发出的红包
            

          

        

        

          

          

          

        

      

    

    

  





	
打赏作者

	

		

		
			
		
		

		

			
PHP猫

			
你的鼓励将是我创作的最大动力

		

	

	

			

	

	

    ¥1
    ¥2
    ¥4
    ¥6
    ¥10
    ¥20
	

	

		

			

				

					扫码支付：¥1
				

				

					

					
					获取中
					

				

				

					
					
					扫码支付
				

			

		

		

			
您的余额不足，请更换扫码支付或充值

			
打赏作者

		

	



      
      

      
实付元

      
使用余额支付

      

        

          

            
            点击重新获取
          

        

        
扫码支付

      

      

        
          
            
          
          
        
      

      

        
        钱包余额
          0
          

            
            

              

                
抵扣说明：

                
 1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
 2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

              

            

          

      

      余额充值