php mysql 批量insert_PHP大批量更新数据,大批量插入数据,mysql批量更新与插入多种方法...

在工作中遇到了需要大批量的更新同步数据,首先用了个笨方法测试,那就是for循环插入与更新。由于数据是从另外一个大型网站的接口中获取的,我本地需要进行处理后,再进行更新与判断,程序执行完成之后,发现耗时太长,仅仅五千条数据就耗时了五个小时左右,非常耗时间。

在进行更新与插入的操作的时候,我们首先必须考虑到文件执行时间的问题。当php文件执行时间过长时,服务器会终止该文件的执行,所以我们要么更改php.ini配置,要么在文件开头加上下列代码:

set_time_limit(0); //取消脚本执行延时上限

ignore_user_abort(TRUE); //如果客户端断开连接,不会引起脚本abort

另外我们在获取数据以及对数据进行处理的时候,可能会造成数据乱码或者编码格式错误,在开头加上设置编码格式的代码,如下:

header("content-type:text/html;charset=utf-8");

下面我们来进行插入的实例操作:

方法一:根据资料显示,可以进行事务处理操作,经过测试,时间确实缩短了,五千条数据大概一个多小时全部处理完毕,时间缩短了一大半。但是这方法必要要求是(该数据库支持事务处理),重中之重

示例代码如下:

该方法需要注意的是:

1.每次rollback或者commit之后加上begin,否则下次循环将不会开启事务

2.在循环结束后,加上commit,否则可能会有开启的事务未commit或者rollback,会造成数据库错误:1025-lock wait timeout exceeded;try restarting transaction

方法二:对sql语句进行拼接,最后统一插入。

代码示例如下:

该方法的主要耗时是在程序数据的处理上,减少了与数据库的连接与操作,而我们知道程序的短板和主要耗时都是在数据库上,该方法确实有效地减少了程序执行的时间,我们在使用的时候可以使用该方法

但是必须注意的是,该方法语句的字段必须正确,并且与值对应,不能有错误的值,否则插入会失败

下面是对于数据批量更新的操作,下列方法真的让人受益良多,打开新知识的大门

方法一:该方法根据资料所述,实际上是将对应的数据先进行delete,再进行insert,如果更新的字段不全会将缺失的字段设置为缺省值,这个在实际工作中要注意,很危险

  • 0
    点赞
  • 0
    收藏
    觉得还不错? 一键收藏
  • 0
    评论

“相关推荐”对你有帮助么?

  • 非常没帮助
  • 没帮助
  • 一般
  • 有帮助
  • 非常有帮助
提交
评论
添加红包

请填写红包祝福语或标题

红包个数最小为10个

红包金额最低5元

当前余额3.43前往充值 >
需支付:10.00
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明:

1.余额是钱包充值的虚拟货币,按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载,可以购买VIP、付费专栏及课程。

余额充值