NeZha 中文预训练模型使用教程

郝言元

于 2024-08-15 09:52:09 发布

阅读量921

点赞数 20

本文链接：https://blog.csdn.net/gitblog_00987/article/details/141211912

版权

NeZha 中文预训练模型使用教程

NeZha_Chinese_PyTorchNEZHA: Neural Contextualized Representation for Chinese Language Understanding项目地址:https://gitcode.com/gh_mirrors/ne/NeZha_Chinese_PyTorch

1. 项目介绍

NeZha 是一个专为中文语言理解设计的神经语境化表示模型。它由华为诺亚方舟实验室开发，在2019年发布，基于BERT进行了一系列的优化，包括函数式相对位置编码和全词覆盖等改进，旨在提高在中文自然语言处理任务上的表现。

主要特点：

函数式相对位置编码：使用正弦函数计算相对位置的得分，以增强模型对序列内位置关系的理解。
全词覆盖：相比于BERT的子词单位，NeZha支持完整的词语覆盖，改善了对于中文词汇的处理。

2. 项目快速启动

首先确保已安装transformers库，如果没有，请使用下面的命令安装：

pip install transformers

接下来，我们可以使用Hugging Face的Transformers库加载NeZha预训练模型：

from transformers import AutoTokenizer, AutoModelForMaskedLM

tokenizer = AutoTokenizer.from_pretrained("peterchou/nezha-chinese-base")
model = AutoModelForMaskedLM.from_pretrained("peterchou/nezha-chinese-base")

text = "知识能够改变命运"
inputs = tokenizer(text, return_tensors="pt")
out = model(**inputs)

print(out.last_hidden_state.shape)

上面的代码将会加载预训练模型并生成一个隐藏状态的张量，其形状表示输入文本经过模型后的表示形式。

3. 应用案例和最佳实践

3.1 文本分类

from transformers import AutoTokenizer, AutoModelForSequenceClassification

tokenizer = AutoTokenizer.from_pretrained("lonePatient/nezha_chinese_base_for_text_class")
model = AutoModelForSequenceClassification.from_pretrained("lonePatient/nezha_chinese_base_for_text_class")

text = "这是一条正面的新闻"
inputs = tokenizer(text, padding=True, truncation=True, return_tensors="pt")
outputs = model(**inputs)

classification_scores = outputs.logits
predicted_label = classification_scores.argmax(dim=-1).item()
print(f"预测标签: {predicted_label}")

在这个例子中，我们使用预训练的NeZha模型进行文本分类任务。

3.2 填充掩码的语言模型

from transformers import pipeline

mask_fill_pipeline = pipeline('fill-mask', model='peterchou/nezha-chinese-base')

input_text = "我爱___"
result = mask_fill_pipeline(input_text)

print(result)

这个示例展示了如何使用预训练模型进行掩码填充任务，填入缺失的单词。