预训练模型下载

AutoModelForCausalLM.from_pretrained

AutoModelForCausalLM.from_pretrained 方法是用于从预训练模型加载一个自回归语言模型的快捷方式
• model_path - 模型地址，原生的读取 Baichuan 即可，Lora 读取训练得到的 weights 下的地址

• load_in_8bit - 设置为 True 时，预训练模型的权重参数会以更低的精度 [8位] 进行存储，从而减少了模型所需的内存空间。

• trust_remote_code - 该参数指示系统在执行远程或外部代码时如何处理安全性和信任性。

• device_map - 在分布式计算环境中，可以使用 “device_map” 参数将不同的任务分配给不同的计算节点或处理器，并利用并行计算来加速整体计算过程。这里使用 auto 自定选择

from transformers import AutoModelForCausalLM
 
# 从预训练模型加载自回归语言模型
model = AutoModelForCausalLM.from_pretrained(
    "gpt2",
    cache_dir="/HDD/liuyuanyuan/Pre_model/cache/",#缓存地址
    from_tf=False,
    force_download=False,
    resume_download=True,
    use_auth_token=False
)

• pretrained_model_name_or_path - 指定要加载的预训练模型的名称或路径。

• config - 可选参数，可以传递一个预训练模型的配置对象（如GPTConfig）。如果没有提供，将自动从pretrained_model_name_or_path中加载。

• cache_dir - 可选参数，用于指定缓存目录地址。

• from_tf - 可选参数，如果设置为True，则从TensorFlow模型转换而来。

• force_download - 可选参数，如果设置为True，则强制从模型Hub下载模型。

• resume_download - 可选参数，如果设置为True，则在下载过程中断后继续下载。

• user_auth_token - 可选参数，如果设置为True，并且你的Hugging Face账户已经配置了token，那么将使用token进行认证。

random.randint

random.sample()函数从一个列表里随机抽出若干个元素，这是直接从元素本身中抽取。而如果需要根据列表元素的index来抽取元素，则可以用random.randint(0,len(some_list)-1)，即选出了要抽取元素在原list中的index。举例如下：

import random

letters = ['a', 'b', 'c', 'd', 'e', 'f']
random_index = random.randint(0,len(letters)-1)

print(letters[random_index])

# output
e
c
f
a