ChatGLM的使用与Prompt介绍

通过ChatGLM的简单例子体验大模型-CSDN博客

前面简单向读者介绍了ChatGLM的使用，除此之外，ChatGLM还有很多可以胜任的地方，例如进行文本内容的抽取，读者可以尝试如下任务：

content="""ChatGLM-6B 是一个开源的、支持中英双语的对话语言模型，
基于 General Language Model (GLM) 架构，具有 62 亿参数。
手机号 18888888888
结合模型量化技术，用户可以在消费级的显卡上进行本地部署（INT4 量化级别下最低只需 6GB 显存）。 
ChatGLM-6B 使用了较 ChatGPT 更为高级的技术，针对中文问答和对话进行了优化。
邮箱 123456789@qq.com
经过约 1T 标识符的中英双语训练，辅以监督微调、反馈自助、人类反馈强化学习等技术的加持，
账号:root 密码:xiaohua123
62 亿参数的 ChatGLM-6B 已经能生成相当符合人类偏好的回答，更多信息请参考我们的博客。
"""
prompt='从上文中，提取"信息"(keyword,content)，包括:"手机号"、"邮箱"、"账号"、"密码"等类型的实体，输出json格式内容'
input ='{}\n\n{}'.format(content,prompt)
print(input)
response, history = model.chat(tokenizer, input, history=[])
print(response)

这是一个经典的文本抽取任务，希望通过ChatGLM抽取其中的内容，在这里我们使用了一个Prompt（中文暂时称为“提示”），Prompt是研究者为了下游任务设计出来的一种输入形式或模板，它能够帮助ChatGLM“回忆”起自己在预训练时“学习”到的东西。

Prompt也可以帮助使用者更好地“提示”预训练模型所需要做的任务，在这里我们通过Prompt的方式向ChatGLM传达一个下游任务目标，即需要其对文本进行信息抽取，抽取其中蕴含的手机、邮箱、账号、密码等常用信息。最终显示结果如图16-7所示。

可以看到，这是一个使用JSON格式表示的抽取结果，其中的内容根据Prompt中的定义提供了相应的键-值对，直接抽取了对应的信息。

除此之外，读者还可以使用ChatGLM进行一些常识性的文本问答和编写一些代码。当然，完成这些内容还需要读者设定好特定的Prompt，从而使得ChatGLM能够更好地理解读者所提出的问题和意思。

本文节选自《从零开始大模型开发与微调：基于PyTorch与ChatGLM》，获出版社和作者授权发布。

《从零开始大模型开发与微调：基于PyTorch与ChatGLM（人工智能技术丛书）》(王晓华)【摘要 书评 试读】- 京东图书 (jd.com)