laravel5.5如何使用使用队列

39 篇文章 0 订阅

使用队列#

上一章节中我们开发了自动生成 Slug 功能,但是因为我们的需要实时请求百度翻译接口,这将会是一个系统性能隐患。

一般情况下,网络请求会存在各种不确定性,如果请求 API 出现超时情况,或者发生不可预知的错误,我们的用户将无法发帖。

生成 Slug 只是一个 优化 功能,并非是发帖的 必要 功能,我们希望无论生成 Slug 的结果如何,用户都能顺利的发帖,并且完全察觉不到延迟。

利用队列系统可以做到这点。队列允许你异步执行消耗时间的任务,比如请求一个 API 并等待返回的结果。这样可以有效的降低请求响应的时间。

1. 配置队列#

队列的配置信息储存于 config/queue.php 文件中,在这个文件中你会发现框架所支持的队列驱动的配置连接示例。这些驱动包括:数据库,Beanstalkd,Amazon SQS,Redis,和一个同步(本地使用)的驱动。还有一个名为 null 的驱动表明不使用队列任务。

本项目中,我们将使用 Redis 来作为我们的队列驱动器,先使用 Composer 安装依赖:

$ composer require "predis/predis:~1.0"

接下来我们还需要修改环境变量 QUEUE_DRIVER 的值为 redis

.env

.
.
.
QUEUE_DRIVER=redis

.
.
.

失败任务#

有时候队列中的任务会失败。Laravel 内置了一个方便的方式来指定任务重试的最大次数。当任务超出这个重试次数后,它就会被插入到 failed_jobs 数据表里面。我们可以使用 queue:failed-table 命令来创建 failed_jobs 表的迁移文件:

$ php artisan queue:failed-table

会新建 database/migrations/{timestamp}_create_failed_jobs_table.php 文件:

file

接着使用 migrate Artisan 命令生成 failed_jobs 表:

$ php artisan migrate

2. 生成任务类#

使用以下 Artisan 命令来生成一个新的队列任务:

$ php artisan make:job TranslateSlug

该命令会在 app/Jobs 目录下生成一个新的类:

app/Jobs/TranslateSlug.php

<?php

namespace App\Jobs;

use Illuminate\Bus\Queueable;
use Illuminate\Queue\SerializesModels;
use Illuminate\Queue\InteractsWithQueue;
use Illuminate\Contracts\Queue\ShouldQueue;
use Illuminate\Foundation\Bus\Dispatchable;

use App\Models\Topic;
use App\Handlers\SlugTranslateHandler;

class TranslateSlug implements ShouldQueue
{
    use Dispatchable, InteractsWithQueue, Queueable, SerializesModels;

    protected $topic;

    public function __construct(Topic $topic)
    {
        // 队列任务构造器中接收了 Eloquent 模型,将会只序列化模型的 ID
        $this->topic = $topic;
    }

    public function handle()
    {
        // 请求百度 API 接口进行翻译
        $slug = app(SlugTranslateHandler::class)->translate($this->topic->title);

        // 为了避免模型监控器死循环调用,我们使用 DB 类直接对数据库进行操作
        \DB::table('topics')->where('id', $this->topic->id)->update(['slug' => $slug]);
    }
}

该类实现了 Illuminate\Contracts\Queue\ShouldQueue 接口,该接口表明 Laravel 应该将该任务添加到后台的任务队列中,而不是同步执行。

引入了 SerializesModels trait,Eloquent 模型会被优雅的序列化和反序列化。队列任务构造器中接收了 Eloquent 模型,将会只序列化模型的 ID。这样子在任务执行时,队列系统会从数据库中自动的根据 ID 检索出模型实例。这样可以避免序列化完整的模型可能在队列中出现的问题。

handle 方法会在队列任务执行时被调用。值得注意的是,我们可以在任务的 handle 方法中可以使用类型提示来进行依赖的注入。Laravel 的服务容器会自动的将这些依赖注入进去,与控制器方法类似。

还有一点需要注意,我们将会在模型监控器中分发任务,任务中要避免使用 Eloquent 模型接口调用,如:create()update()save() 等操作。否则会陷入调用死循环 —— 模型监控器分发任务,任务触发模型监控器,模型监控器再次分发任务,任务再次触发模型监控器.... 死循环。在这种情况下,使用 DB 类直接对数据库进行操作即可。

3. 任务分发#

接下来我们要修改 Topic 模型监控器,将 Slug 翻译的调用修改为队列执行的方式:

app/Observers/TopicObserver.php

<?php

namespace App\Observers;

use App\Models\Topic;
use App\Jobs\TranslateSlug;

// creating, created, updating, updated, saving,
// saved,  deleting, deleted, restoring, restored

class TopicObserver
{
    public function saving(Topic $topic)
    {
        // XSS 过滤
        $topic->body = clean($topic->body, 'user_topic_body');

        // 生成话题摘录
        $topic->excerpt = make_excerpt($topic->body);

        // 如 slug 字段无内容,即使用翻译器对 title 进行翻译
        if ( ! $topic->slug) {

            // 推送任务到队列
            dispatch(new TranslateSlug($topic));
        }
    }
}

4. 开始测试#

开始之前,我们需要在命令行启动队列系统,队列在启动完成后会进入监听状态:

$ php artisan queue:listen

浏览器打开话题发布页面,填写测试内容:

file

点击『保存』按钮提交表单后,可以在命令行中看到监听的状态:

file

可以看到我们的任务 Failed 执行失败了。打开数据库查看 failed_jobs 里的数据:

file

虽然我们能够从 payload 和 exception 字段中看到报错的信息,但因为是序列化以后的信息,所以并不直观:

file

5. 队列监控 Horizon#

file

Horizon 是 Laravel 生态圈里的一员,为 Laravel Redis 队列提供了一个漂亮的仪表板,允许我们很方便地查看和管理 Redis 队列任务执行的情况。

使用 Composer 安装:

$ composer require "laravel/horizon:~1.0"

安装完成后,使用 vendor:publish Artisan 命令发布相关文件:

$ php artisan vendor:publish --provider="Laravel\Horizon\HorizonServiceProvider"

分别是配置文件 config/horizon.php 和存放在 public/vendor/horizon 文件夹中的 CSS 、JS 等页面资源文件。

至此安装完毕,浏览器打开 http://larabbs.test/horizon 访问控制台:

file

Horizon 是一个监控程序,需要常驻运行,我们可以通过以下命令启动:

$ php artisan horizon

安装了 Horizon 以后,我们将使用 horizon 命令来启动队列系统和任务监控,无需使用 queue:listen

接下来我们再次尝试下发帖,发帖之前,请确保 horizon 命令处于监控状态:

file

这一次多亏了 Horizon,我们可以清晰的看到更加详尽的错误信息,错误异常是 ModelNotFoundException,最重要的:

file

我们发现 Data 区块里,id 的值居然为 null。我们知道的,队列系统对于构造器里传入的 Elequent 模型,将会只序列化 ID 字段,因为我们是在 Topic 模型监控器的 creating() 方法中分发队列任务的,此时传参的 $topic 变量还未在数据库里创建,所以 $topic->id 为 null。

6. 代码调整#

既然我们已经定位到了问题,解决的方法也很简单,只需要确保分发任务时 $topic->id 有值即可。我们需要修改任务分发的时机:

app/Observers/TopicObserver.php

<?php

namespace App\Observers;

use App\Models\Topic;
use App\Jobs\TranslateSlug;

// creating, created, updating, updated, saving,
// saved,  deleting, deleted, restoring, restored

class TopicObserver
{
    public function saving(Topic $topic)
    {
        // XSS 过滤
        $topic->body = clean($topic->body, 'user_topic_body');

        // 生成话题摘录
        $topic->excerpt = make_excerpt($topic->body);
    }

    public function saved(Topic $topic)
    {
        // 如 slug 字段无内容,即使用翻译器对 title 进行翻译
        if ( ! $topic->slug) {

            // 推送任务到队列
            dispatch(new TranslateSlug($topic));
        }
    }
}

模型监控器的 saved() 方法对应 Eloquent 的 saved 事件,此事件发生在创建和编辑时、数据入库以后。在 saved() 方法中调用,确保了我们在分发任务时,$topic->id 永远有值。

需要注意的是,artisan horizon 队列工作的守护进程是一个常驻进程,它不会在你的代码改变时进行重启,当我们修改代码以后,需要在命令行中对其进行重启操作。

重启 horizon 命令后再次尝试:

file

7. 线上部署须知#

在开发环境中,我们为了测试方便,直接在命令行里调用 artisan horizon 进行队列监控。然而在生产环境中,我们需要配置一个进程管理工具来监控 artisan horizon 命令的执行,以便在其意外退出时自动重启。当服务器部署新代码时,需要终止当前 Horizon 主进程,然后通过进程管理工具来重启,从而使用最新的代码。

简而言之,生产环境下使用队列需要注意以下两个问题:

  1. 使用 Supervisor 进程工具进行管理,配置和使用请参照 文档 进行配置;
  2. 每一次部署代码时,需 artisan horizon:terminate 然后再 artisan horizon 重新加载代码。

8. 使用 Sync 队列驱动#

既然功能已经开发测试完毕,为了后续开发的方便,我们将开发环境的队列驱动改回 sync 同步模式,也就是说不使用任何队列,实时执行:

.env

QUEUE_DRIVER=sync
评论
添加红包

请填写红包祝福语或标题

红包个数最小为10个

红包金额最低5元

当前余额3.43前往充值 >
需支付:10.00
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明:

1.余额是钱包充值的虚拟货币,按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载,可以购买VIP、付费专栏及课程。

余额充值