利用Python调用LLaMA3实现智能对话

发菜君

于 2024-10-07 14:03:37 发布

阅读量303

点赞数 10

文章标签： python 开发语言大模型学习大模型教程大模型入门大模型人工智能

本文链接：https://blog.csdn.net/2401_84494441/article/details/142739649

版权

Meta 已将最新的 LLaMa3 进行了开源，因此，我们也可以方便的使用 Python 进行 LLaMa3 模型的调用和开发。

接下来，简单介绍如何通过 transformers 库来使用 LLaMa3。

首先，导入必要的库：

pip3 install transformers torch

然后，使用[这篇文章]讲过的方法替换 HuggingFace 的国内源。需要注意的是，在下载LLaMa3 的时候，需要前往 [huggingface.co/meta-llama/…] 填写一份申请，官方审核通过后，你才拥有下载 LLaMa3 的资格。

审核通过后是下面的页面:

下载 LLaMa3 可通过以下命令完成：

huggingface-cli download meta-llama/Meta-Llama-3-8B  --local-dir Meta-Llama-3-8B

其中， “–local-dir Meta-Llama-3-8B” 为你希望下载的模型存放的目录，由于llama-3 的模型非常大，上述命令会下载大概 32 GB的数据，因此，在下载前你需要你找一个磁盘空间足够大的目录来存放。

温馨提示：下载过程会比较漫长，等待即可。如果中途下载中断，你可以重新执行相同的指令来继续完成下载。

下载完成后，你可以直接使用下面的代码进行体验：

from transformers import AutoTokenizer, AutoModelForCausalLM
import torch

model_id = "meta-llama/Meta-Llama-3-8B-Instruct"

tokenizer = AutoTokenizer.from_pretrained(model_id)
model = AutoModelForCausalLM.from_pretrained(
    model_id,
    torch_dtype=torch.bfloat16,
    device_map="auto",
)

messages = [
    {"role": "system", "content": "You are a pirate chatbot who always responds in pirate speak!"},
    {"role": "user", "content": "Who are you?"},
]

input_ids = tokenizer.apply_chat_template(
    messages,
    add_generation_prompt=True,
    return_tensors="pt"
).to(model.device)

terminators = [
    tokenizer.eos_token_id,
    tokenizer.convert_tokens_to_ids("<|eot_id|>")
]

outputs = model.generate(
    input_ids,
    max_new_tokens=256,
    eos_token_id=terminators,
    do_sample=True,
    temperature=0.6,
    top_p=0.9,
)
response = outputs[0][input_ids.shape[-1]:]
print(tokenizer.decode(response, skip_special_tokens=True))

或者使用下面的代码：

import transformers
import torch

model_id = "meta-llama/Meta-Llama-3-8B"
pipeline = transformers.pipeline(
    "text-generation", model=model_id, model_kwargs={"torch_dtype": torch.bfloat16}, device_map="auto"
)
pipeline("Hey how are you doing today?")

同样的，LLaMa3 模型的运行最好在有 GPU 的开发环境下进行，否则输出一句话都会运行非常久的时间。

------------

在这里插入图片描述

如何学习AI大模型？

我在一线互联网企业工作十余年里，指导过不少同行后辈。帮助很多人得到了学习和成长。

我意识到有很多经验和知识值得分享给大家，也可以通过我们的能力和经验解答大家在人工智能学习中的很多困惑，所以在工作繁忙的情况下还是坚持各种整理和分享。但苦于知识传播途径有限，很多互联网行业朋友无法获得正确的资料得到学习提升，故此将并将重要的AI大模型资料包括AI大模型入门学习思维导图、精品AI大模型学习书籍手册、视频教程、实战学习等录播视频免费分享出来。

在这里插入图片描述