使用huggingface pipeline实现英文到中文的翻译

hehui0921

已于 2024-02-16 10:55:36 修改

阅读量228

点赞数 2

分类专栏： huggingface 文章标签： langchain

于 2024-02-12 11:24:35 首次发布

本文链接：https://blog.csdn.net/oHeHui1/article/details/136100218

版权

huggingface 专栏收录该内容

33 篇文章 0 订阅

订阅专栏

本文展示了如何使用HuggingFaceHub的MBart模型和Tokenizers从英文翻译成中文，以联合国秘书长关于叙利亚问题的声明为例，展示了多语言条件生成的功能。

摘要由CSDN通过智能技术生成

1 ：以下翻译英文到中文，可以CPU运行。

from huggingface_hub.hf_api import HfFolder
HfFolder.save_token('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')
from transformers import MBartForConditionalGeneration, MBart50TokenizerFast

article_en = "The head of the United Nations says there is no military solution in Syria"
model = MBartForConditionalGeneration.from_pretrained("SnypzZz/Llama2-13b-Language-translate")
tokenizer = MBart50TokenizerFast.from_pretrained("SnypzZz/Llama2-13b-Language-translate", src_lang="en_XX")
model_inputs = tokenizer(article_en, return_tensors="pt")
# translate from English to Chinese
generated_tokens = model.generate(
    **model_inputs,
    forced_bos_token_id=tokenizer.lang_code_to_id["zh_CN"]
)
print(tokenizer.batch_decode(generated_tokens, skip_special_tokens=True))