VLLM代码解读 | VLLM Hack 2

回忆一下昨天所看的代码，通过LLMEngine,我们将输入的sequence转换成了sequence这个对象，包含了下列信息。

Sequence(seq_id=0, status=WAITING, num_blocks=1)

然后基于sequence，我们又生成了sequenceGroup这个对象。这个对象用于保管基于同一prompt生成的sequences，可以想象，当进行beam search的时候，我们需要保证sequence的平行宇宙，对应确实需要更好的数据结构去维护它。

在完成了sequencegroup的生成后，我们将它放置到scheduler中。

        self.scheduler.add_seq_group(seq_group)

具体对应的是添加到waiting的deque中。 需要注意的是，scheduler中维护了三个队列，分别为waiting，running，swapped

        # Sequence groups in the WAITING state.
        # Contain new prefill or preempted requests.
        self.waiting: Deque[SequenceGroup] = deque()
        # Sequence groups in the RUNNING state.
        # Contain decode requests.
        self.running: Deque[SequenceGroup] = deque()
        # Sequence groups in the SWAPPED state.
        # Contain decode requests that are swapped out.
        self.swapped: Deque[SequenceGroup] = deque()

到目前为止，我们基本完成了输入的封装，让它成为了一个sequencegroup，包括输入对应的token，一个ID，并且交给scheduler调度。

因为llmdemo中默认为4的输入，下列的操作我们要进行4次。

        # Add requests to the engine.
        for i, request_inputs in enumerate(inputs):
            self._add_request(
                request_inputs,
                params[i] if isinstance(params, Sequence) else params,
                lora_request=lora_request[i] if isinstance(
                    lora_request, Sequence) else lora_request,
            )

接下来，我么正式进入 _run_engine 这个函数中。

run_engine这个函数可以说是重中之重，我们之后聊。