php如何避免在循环中使用sql语句

一、背景

众所周知的,在循环语句中执行数据库操作,对数据库来说负担很大。
举个例子:

for(int I=0;I<500;I++){查询语句}

      这样你的这个查询语句会执行500次,稍极端一点,忽略数据库内部执行语句的时间,服务器到数据库服务器之间网络不畅,光是服务器发送查询请求到数据库就需要1秒的时间,返回又1秒。这样你光是网络原因的等待时间就1000秒了。而如果你是在for语句外一次性取500条数据,这个网络请求等待时间就2秒。

      当循环量特别大的时候,一方面会造成严重的网络延迟,一方面可能会连接数据库失败,因此,避免循环中执行sql也算是业界的一个准则。

二、如何避免

大前提:博主一直用的laravel框架,因此会用到一些laravel特有的方法,殊途同归,各位道友心里明白就好。

1、循环内拼接sql语句,循环外执行

例如:

//假设这里的$users是一个很大的数组,我们要循环取出其中的值
foreach($users as $user){
//这部分的sql是我从项目中随便摘抄出来的。主要就是实现拼接sql语句
$sql .= " ('{$order_sn}', '{$this->user_id}', '{$deliver_fee}', 0, "
                        . " '', '', '', "
                        . " '{$add_time}','{$order_status}', '{$order_amount}', '{$remark}', "
                        . " '{$pickup_code}', '{$self_pickup}', '{$collect_order_sn}', '{$key}', {$reservation_time}),";
}
//循环中拼接好sql之后,我们在循环外执行
$sql = substr($sql, 0, -1);
DB::statement($sql);

2、where条件换为where in()

比如我们的where()条件中要使用大规模的数组,那么在语句应该是:

foreach($arr as $v){
DB::table('')->where('id',$v->id);
}

此时我们可以转变一下:

//先取出条件数组$arr,在直接执行whereIn即可
DB::table('')->whereIn('id',$arr);

注意:如果数据量很大,比如几十万条数据,那么whereIn也会成为代码的瓶颈,这个函数适用于数据量不是很大的情况。

3、laravel的chunk方法

官方文档:https://laravel-china.org/docs/laravel/5.5/eloquent/1332

      如果你需要处理数千个 Eloquent 记录,可以使用 chunk 命令。chunk 方法会检索 Eloquent 模型的「分块」,将它们提供给指定的 Closure 进行处理。在处理大型结果集时,使用 chunk 方法可节省内存:

Flight::chunk(200, function ($flights) {
    foreach ($flights as $flight) {
        //
    }
});

      传递到方法的第一个参数是希望每个「分块」接收的数据量。闭包则被作为第二个参数传递,它会在每次执行数据库查询传递每个块时被调用。

      上面这段代码的意思是,先执行200条,执行完之后,再继续执行后200条。用一种类似于分页的方法来小规模的调用数据库操作,如此便可避免大数据量的操作。

4、laravel的chunk()方法的漏洞

注意:laravel的chunk方法在筛选条件并且更新数据的时候,会出现漏掉数据的bug,具体的可参考博客:https://www.jianshu.com/p/5dafd0d6e69a
例如:

User::where('approved', 0)->chunk(100, function ($users) {
  foreach ($users as $user) {
    $user->update(['approved' => 1]);
  }
});

      如果要运行上面的代码,并不会有报错,但是where条件是筛选approved为0的user然后将approved的值跟新为1。

      在这个过程中,档第一数据库的数据被修改后,下一个数据块的数据将是在被修改后的数据中选出来的,这个时候数据变了,而page也加了1。所以执行结束后,只对数据中一半的数据进行了更新操作。

      如果没有明白的话,我们来看一下chunk的底层实现。还以上面的代码为例,假如一共有400条数据,数据被按照100条进行分块处理。

page = 1: 最开始的时候page为1,选取1-100条数据进行处理;

      page = 2: 这时候前一百数据的approved值全部为1,那么在次筛选的时候,此时数据库中符合条件的数据只有300条,而且数据将从第101条开始,而这个时候的page=2,那么处理的数据将是第200-300之前的数据。之后依旧。

public function chunk($count, callable $callback)
{
    $results = $this->forPage($page = 1, $count)->get();

    while (count($results) > 0) {
        // On each chunk result set, we will pass them to the callback and then let the
        // developer take care of everything within the callback, which allows us to
        // keep the memory low for spinning through large result sets for working.
        if (call_user_func($callback, $results) === false) {
            return false;
        }
        $page++;
        $results = $this->forPage($page, $count)->get();
    }
    return true;
}

当然,关于chunk()的这个漏洞,我没找到chunk()的源码,但是我用laravel5.5没有出现这个问题。如果有大神看到这篇博客,请不吝赐教。

end

发布了359 篇原创文章 · 获赞 1370 · 访问量 133万+
展开阅读全文

没有更多推荐了,返回首页

©️2019 CSDN 皮肤主题: 编程工作室 设计师: CSDN官方博客

分享到微信朋友圈

×

扫一扫,手机浏览