教育领域“知之”大模型--山东大学软件学院2024年项目实训（九）

流输出

如果使用模型默认的输出方式是直接等回答全部完成才会输出，这样会大大增加等待时间，在swift中有设置流输出的方式。

以deepseek_math_7b_instruct为例：

import os
os.environ['CUDA_VISIBLE_DEVICES'] = '0'

from swift.llm import (
    get_model_tokenizer, get_template, inference, ModelType, get_default_template_type,inference_stream
)
from swift.utils import seed_everything

model_type = ModelType.deepseek_math_7b_instruct
template_type = get_default_template_type(model_type)
print(f'template_type: {template_type}')  # template_type: qwen


kwargs = {}
# kwargs['use_flash_attn'] = True  # 使用flash_attn

model, tokenizer = get_model_tokenizer(model_type, model_kwargs={'device_map': 'auto'}, **kwargs)
# 修改max_new_tokens
model.generation_config.max_new_tokens = 128

template = get_template(template_type, tokenizer)
seed_everything(42)
query = 'what is the integral of x^2 from 0 to 2?\nPlease reason step by step, and put your final answer within \boxed{}.'
# gen=inference_stream(model,template,query)

gen = inference_stream(model, template, query)
print(f'query: {query}')
for response, history in gen:
    pass
    print(f'response: {response}')

运行结果图：