AutoModelForCausalLM.from_pretrained
AutoModelForCausalLM.from_pretrained 方法是用于从预训练模型加载一个自回归语言模型的快捷方式
• model_path - 模型地址,原生的读取 Baichuan 即可,Lora 读取训练得到的 weights 下的地址
• load_in_8bit - 设置为 True 时,预训练模型的权重参数会以更低的精度 [8位] 进行存储,从而减少了模型所需的内存空间。
• trust_remote_code - 该参数指示系统在执行远程或外部代码时如何处理安全性和信任性。
• device_map - 在分布式计算环境中,可以使用 “device_map” 参数将不同的任务分配给不同的计算节点或处理器,并利用并行计算来加速整体计算过程。这里使用 auto 自定选择
from transformers import AutoModelForCausalLM
# 从预训练模型加载自回归语言模型
model = AutoModelForCausalLM.from_pretrained(
"gpt2",
cache_dir="/HDD/liuyuanyuan/Pre_model/cache/",#缓存地址
from_tf=False,
force_download=False,
resume_download=True,
use_auth_token=False
)
• pretrained_model_name_or_path - 指定要加载的预训练模型的名称或路径。
• config - 可选参数,可以传递一个预训练模型的配置对象(如GPTConfig)。如果没有提供,将自动从pretrained_model_name_or_path中加载。
• cache_dir - 可选参数,用于指定缓存目录地址。
• from_tf - 可选参数,如果设置为True,则从TensorFlow模型转换而来。
• force_download - 可选参数,如果设置为True,则强制从模型Hub下载模型。
• resume_download - 可选参数,如果设置为True,则在下载过程中断后继续下载。
• user_auth_token - 可选参数,如果设置为True,并且你的Hugging Face账户已经配置了token,那么将使用token进行认证。
random.randint
random.sample()函数从一个列表里随机抽出若干个元素,这是直接从元素本身中抽取。而如果需要根据列表元素的index来抽取元素,则可以用random.randint(0,len(some_list)-1),即选出了要抽取元素在原list中的index。举例如下:
import random
letters = ['a', 'b', 'c', 'd', 'e', 'f']
random_index = random.randint(0,len(letters)-1)
print(letters[random_index])
# output
e
c
f
a