php超大数组插入数据库处理

最新推荐文章于 2022-10-13 15:32:54 发布

老猫coder

最新推荐文章于 2022-10-13 15:32:54 发布

阅读量1.1k

点赞数

文章标签： php laravel

本文链接：https://blog.csdn.net/qq_39071185/article/details/121726934

版权

当尝试将PHP大数组批量插入数据库时，可能会遇到内存限制和SQL语句过长的问题。内存限制可以通过设置`memory_limit`解决，而SQL语句过长则可能需要调整MySQL的`max_allowed_packet`或采用数组拆分策略。PHP框架如Laravel提供了chunk方法来分批处理大数据操作。

摘要由CSDN通过智能技术生成

php大数组数据通常直接批量插入数据库可能导致的问题是：

情况1.php内存限制。常见的提示是这种

Fatal Error: Allowed memory size of xxxxxx bytes exhausted

通常设置 ini_set('memory_limit',-1);

即可解决这种问题。

情况2.一次性插入的sql语句过长，可能导致失败。

2.1 prepared statement contains too many placeholders，提示占位符过多。Mysql默认支持的占位符最多为65535(2^16-1)个，写入数据为m列，n行。m*n必须小于65535。

2.2 SQL语句长度默认设置是1M，也就是说mysql通讯的数据包大小设置是１M,这就容易造成sql语句执行失败。当然也可以更改mysql的配置文件（my.ini）中的max_allowed_packet = 6M变大，问题就解决了。除此之外，为解决这种问题，我们可以从程序层面进行解决这类问题：也就是拆分数组的方法。

class ArrayHelps
{

    public static function chunk($ub, $default_num, callable $callback)
    {
        unset($insertdata);
        $page = ceil(count($ub) / $default_num);
        for ($ipage = 0; $ipage <= $page; $ipage++) {
            $sbub = array_slice($ub, ($ipage - 1) * $