think-queue 执行流程探究

本文是结合redis驱动进行说明

1.添加任务

1.1 普通任务

$data=[
   'rand'=>rand(100000,999999),
    'time'=>time(),
];
$res=Queue::push($job,$data,'test');

//对应的think-queue 的插件代码最终位置为
//文件位置 vendor/topthink/think-queue/src/queue/connector/Redis.php
    public function pushRaw($payload, $queue = null)
    {
        $this->redis->rPush($this->getQueue($queue), $payload); //可以看到采用的redis命令是rPush，在右侧不断追加，继而实现先进先出，后进后出

        return json_decode($payload, true)['id'];
    }

通过redis命令查看

127.0.0.1:6379> select 1
OK
127.0.0.1:6379[1]> type queues:test
list
127.0.0.1:6379[1]> LRANGE queues:test 0 -1
1) "{\"job\":\"app\\\\api\\\\job\\\\TestJob@doJob\",\"data\":{\"rand\":498941,\"time\":1704531011},\"id\":\"xd4AdAGYLBtXuqhGNipT7wRXfS5nObSo\",\"attempts\":1}"

1.2 延迟任务

$data=[
   'rand'=>rand(100000,999999),
    'time'=>time(),
];
$res=Queue::later(10,$job,$data,'test');//延迟10s执行
//对应的think-queue 的插件代码最终位置为
//文件位置 vendor/topthink/think-queue/src/queue/connector/Redis.php
    public function later($delay, $job, $data = '', $queue = null)
    {
        $payload = $this->createPayload($job, $data);

        $this->redis->zAdd($this->getQueue($queue) . ':delayed', time() + $delay, $payload); 
    }

队列名称为queue:delayed,类型为zset有序队列，成员分数就是时间戳+延迟的时间 这样后面就可以通过 时间进行排序，获取到期执行的队列，这个会在消费的时候进行说明。

命令查询如下：

127.0.0.1:6379[1]> type queues:test:delayed
zset
127.0.0.1:6379[1]> zrange queues:test:delayed 0 -1
1) "{\"job\":\"app\\\\api\\\\job\\\\TestJob@doJob\",\"data\":{\"rand\":440768,\"time\":1704532506},\"id\":\"ZK0FmG9TbAOtQ09mco7llnHtPpAoAnGi\",\"attempts\":1}"
127.0.0.1:6379[1]> zrange queues:test:delayed 0 -1 WITHSCORES
1) "{\"job\":\"app\\\\api\\\\job\\\\TestJob@doJob\",\"data\":{\"rand\":440768,\"time\":1704532506},\"id\":\"ZK0FmG9TbAOtQ09mco7llnHtPpAoAnGi\",\"attempts\":1}"
2) "1704532516"

2.消费任务

2.1 普通任务消费

public function doJob(Job $job,$data){
        echo "执行业务代码";
        $job->delete();//也可以不delete，根据实际业务场景，其实不delete，$this->options['expire'] 才有实际效果
}

//对应的think-queue 的插件代码最终位置为
//文件位置 vendor/topthink/think-queue/src/queue/connector/Redis.php
public function pop($queue = null)
    {
        $original = $queue ?: $this->options['default'];

        $queue = $this->getQueue($queue);
 	    //这里是处理延迟任务的，通过时间进行判断把延期时间到了的队列重新加入到list队列中
        $this->migrateExpiredJobs($queue . ':delayed', $queue, false);

        if (!is_null($this->options['expire'])) {
            $this->migrateExpiredJobs($queue . ':reserved', $queue);
        }
		//从list类型的队列中获取第一个元素
        $job = $this->redis->lPop($queue);

        if ($job !== false) {
			//注意这里，执行的时候会先把获取的元素再添加到zset类型里的 $queue:reserved 队列中
            $this->redis->zAdd($queue . ':reserved', time() + $this->options['expire'], $job);
			//抛给RedisJob进行实际业务执行
            return new RedisJob($this, $job, $original);
        }
    }

注意一个问题：为什么需要先把数据从list队列中读出，在添加到zset类型里，然后执行完任务后再 ZREM 删除掉？

因为这里涉及到如果任务执行失败重新发布的问题，list读取完成之后数据就从list中删除了，如果任务执行失败那就需要把任务重新发布到队列中，所以需要先保存起来，如果执行成功则完全删除掉即可，如果执行失败则需要重新发布

2.2 延迟任务消费

//对应代码在这里 
public function pop($queue = null)
    {
		...
        $this->migrateExpiredJobs($queue . ':delayed', $queue, false);
		...
    }
//继续查看
public function migrateExpiredJobs($from, $to, $attempt = true)
    {
        $this->redis->watch($from);
		//关键在这里
        $jobs = $this->getExpiredJobs(
            $from, $time = time()
        );
        if (count($jobs) > 0) {
            $this->transaction(function () use ($from, $to, $time, $jobs, $attempt) {
                $this->removeExpiredJobs($from, $time);
                $this->pushExpiredJobsOntoNewQueue($to, $jobs, $attempt);
            });
        }
        $this->redis->unwatch();
    }
//继续查看 获取所有到期任务
    protected function getExpiredJobs($from, $time)
    {
        return $this->redis->zRangeByScore($from, '-inf', $time);
    }

延迟的任务如果到该执行的时间了，则全部添加到list队列中，然后延迟的消息队列删除。

2.3 已消费的任务处理

①.删除处理

public function doJob(Job $job,$data){
        echo "执行业务代码";
        $job->delete();//一般执行完的任务直接执行delete方法进行删除
}

②.根据过期时间处理

执行完的任务如果不删除，那么他就会在$queue:reserved队列中

127.0.0.1:6379[1]> type queues:test:reserved
zset
127.0.0.1:6379[1]> zrange queues:test:reserved 0 -1 WITHSCORES
1) "{\"job\":\"app\\\\api\\\\job\\\\TestJob@doJob\",\"data\":{\"rand\":440768,\"time\":1704532506},\"id\":\"ZK0FmG9TbAOtQ09mco7llnHtPpAoAnGi\",\"attempts\":1}"
2) "1704533546"
3) "{\"job\":\"app\\\\api\\\\job\\\\TestJob@doJob\",\"data\":{\"rand\":498941,\"time\":1704531011},\"id\":\"xd4AdAGYLBtXuqhGNipT7wRXfS5nObSo\",\"attempts\":1}"
4) "1704533546"

$queue:reserved队列的处理在这段代码中

//对应的think-queue 的插件代码最终位置为
//文件位置 vendor/topthink/think-queue/src/queue/connector/Redis.php
public function pop($queue = null)
    {
		...
		//如果设置了过期时间，则对reserved的队列再进行处理
        if (!is_null($this->options['expire'])) {
            $this->migrateExpiredJobs($queue . ':reserved', $queue);
        }
		...
    }

如果设置了过期时间，则对reserved的队列再进行处理，处理逻辑和延迟队列逻辑一样，就是重新发布，所以说如果设置了过期时间，并且你执行完任务执行没有进行删除，那么每隔一个过期时间任务就会被执行一次，这个就和定时任务一样，因为这个配置是针对所有的任务配置，没法针对单个队列进行配置，所有做定时任务还是有点不合适。

2.4 任务处理异常

执行任务的时候往往会处理异常问题，这个时候think-queue会进行重新发布，并且记录执行次数，如果设置了 tries，则达到指定次数后会失败

//文件位置 vendor/topthink/think-queue/src/queue/Worker.php    
public function process(Job $job, $maxTries = 0, $delay = 0)
    {
        //有一个次数的判断，超过次数则直接执行任务的失败方法
        if ($maxTries > 0 && $job->attempts() > $maxTries) {
            return $this->logFailedJob($job);
        }

        try {
            $job->fire();

            return ['job' => $job, 'failed' => false];
        } catch (Exception $e) {
            if (!$job->isDeleted()) {
				//出现异常，走从新发布
                $job->release($delay); 
            }

            throw $e;
        }
    }

对应的release方法,先删除再添加新的，并记录次数

    public function release($delay = 0)
    {
        parent::release($delay);

        $this->delete();

        $this->redis->release($this->queue, $this->job, $delay, $this->attempts() + 1);
    }

并不是什么高深的东西，可能不常用有些地方不是很了解，这里整理一下希望对大家有所帮助，如果有更好的想法或者见解欢迎留言。