Qwen-13B (generate) 推理代码

代码如下：

def get_Qwen_model(model_path):
    
    from transformers import AutoModelForCausalLM, AutoTokenizer
    device = "cuda" # the device to load the model onto

    model_id = model_path
    
    model = AutoModelForCausalLM.from_pretrained(
        model_id,
        torch_dtype="auto",
        device_map="auto",
        trust_remote_code=True,
    )
    
    tokenizer = AutoTokenizer.from_pretrained(
        model_id,
        trust_remote_code=True,
    )

    prompt = "亚历山大帝为什么那么厉害."
    messages = [
        {"role": "system", "content": "你是一个AI助手."},
        {"role": "user", "content": prompt}
    ]
    
    text = tokenizer.apply_chat_template(
        messages,
        tokenize=False,
        add_generation_prompt=True
    )
    
    model_inputs = tokenizer([text], return_tensors="pt").to(device)

    generated_ids = model.generate(
        model_inputs.input_ids,
        max_new_tokens=512
    )
    generated_ids = [
        output_ids[len(input_ids):] for input_ids, output_ids in zip(model_inputs.input_ids, generated_ids)
    ]

    response = tokenizer.batch_decode(generated_ids, skip_special_tokens=True)[0]

    print(response)

if __name__=="__main__":
    model_path = 'your model path'
    get_Qwen_model(model_path)

回答：

亚历山大帝是古希腊神话中的一个英雄，他是古希腊神话中的宙斯和海克力士的儿子。据传说，亚历山大帝是古希腊神话中最伟大的英雄之一，他曾经在战场上击败了强大的敌人，并且建立了古希腊的第一个王朝。
据说，亚历山大帝在战场上英勇无比，他在战场上指挥着他的军队，与敌人进行了一场场激烈的战斗。他还发明了一种可以发射石弹的武器，称为“火球”，这种武器在战场上非常实用。
此外，亚历山大帝还是一位非常有才华的诗人，他擅长写诗，并且创作了很多著名的诗歌作品。他的诗歌作品包括《伊利亚特》和《奥德赛》，这些作品都是古希腊文学中的经典之作。
总之，亚历山大帝是一个非常厉害的英雄，他在战场上、政治上和文化上都取得了很大的成就。