昇思MindSpore AI框架MindFormers实践3:ChatGLM3-6B对一段文字进行提取

MindSpore和MindFormers安装参见：昇思AI框架实践1:安装MindSpoe和MindFormers_miniconda 安装mindspore-CSDN博客

使用了MindSpore2.2和MindFormers1.0

支持的模型：

KeyError: "model must be in odict_keys(['gpt2', 'gpt2_lora', 'gpt2_xl', 'gpt2_xl_lora', 'gpt2_13b', 'llama_7b', 'llama_13b', 'llama_65b', 'llama2_7b', 'llama2_13b', 'llama2_70b', 'codellama_34b', 'llama_7b_lora', 'pangualpha_2_6b', 'pangualpha_13b', 'glm_6b', 'glm_6b_chat', 'glm_6b_lora', 'glm_6b_lora_chat', 'glm2_6b', 'glm2_6b_lora', 'glm2_6b_ptuning2', 'glm3_6b', 'codegeex2_6b', 'bloom_560m', 'bloom_7.1b', 'bloom_65b', 'bloom_176b', 'baichuan_7b', 'baichuan2_7b', 'baichuan2_13b', 'ziya_13b', 'skywork_13b', 'internlm_7b', 'internlm_7b_lora', 'common']) when model's type is string, but get glm3."

 pipline模型：

import mindspore; mindspore.set_context(mode=0, device_id=0)
from mindformers.pipeline import pipeline

pipeline_task = pipeline(task="text_generation", model="glm3_6b")
pipeline_result = pipeline_task("An increasing sequence: one,", do_sample=False, max_length=20)
print(pipeline_result)

输出结果：

[{'text_generation_text': ['[gMASK]sop An increasing sequence: one, two, three, four, five, six, seven,']}]

换个问题：

提取菜谱

prompt="""
‌提取下面菜谱的主要原料：
丝瓜‌：约500克，洗净后去掉两头并去皮，切成滚刀块或小段备用。‌1
‌鸡蛋‌：4-5个，敲入碗中，加入少量食盐、‌料酒、‌白醋（可选）和葱花（可选），搅拌均匀备用。
‌调味料‌：‌大蒜、盐、‌味精、‌生抽、‌蚝油、‌白糖等，根据个人口味适量添加。‌1
‌其他‌：食用油、料酒、小葱、小米辣等，用于烹饪过程中的调味和提香。‌
"""
pipeline_result = pipeline_task(prompt, do_sample=False, max_length=520)
print(pipeline_result)

答案：

2024-09-13 10:59:40,135 - mindformers[mindformers/generation/text_generator.py:478] - INFO - total time: 0.519688606262207 s; generated tokens: 15 tokens; generate speed: 28.86343825754726 tokens/s
[{'text_generation_text': ['[gMASK]sop \n\u200c提取下面菜谱的主要原料：\n丝瓜\u200c：约500克，洗净后去掉两头并去皮，切成滚刀块或小段备用。\u200c1\n\u200c鸡蛋\u200c：4-5个，敲入碗中，加入少量食盐、\u200c料酒、\u200c白醋（可选）和葱花（可选），搅拌均匀备用。\n\u200c调味料\u200c：\u200c大蒜、盐、\u200c味精、\u200c生抽、\u200c蚝油、\u200c白糖等，根据个人口味适量添加。\u200c1\n\u200c其他\u200c：食用油、料酒、小葱、小米辣等，用于烹饪过程中的调味和提香。\u200c\n\n主要原料：丝瓜、鸡蛋、调味料、其他。']}]

主要原料：丝瓜、鸡蛋、调味料、其他

可以看到总共用时2秒，回答出来了主要材料，效果还是不错的。