qq_40206371的博客

按照官方的写法。

提供以下功能Conv1d。

注：以下是个人观点：这边kernel_size=2（TCN的标准做法），所以此时dilation = 2**i还是dilation = kernel_size**i是无所谓的，但如果。每一个TemporalBlock是由两个因果扩张卷积组成的。如上图，把输出后的x5'和x6'裁剪掉。

打乱会创建索引映射，可能会降低性能。如果需要恢复性能，可以调用。

原先的text和label的基础上，多了input_ids，token_type_ids和attention_mask三个key。

和。

参考了huggingface的教程。

定义 x 轴的多个区间范围，用于指定哪些部分显示，哪些部分被跳过。：定义 y 轴的多个区间范围，用于显示特定的 y 轴范围。：设置 y 轴的断裂间距，调整断裂之间的距离。：设置 x 轴的断裂间距，调整断裂之间的距离。：列表或元组的列表，例如。：列表或元组的列表，例如。

比如我们有这样一个随机DataFrame1。

首先，test_loader 不参与accelerate的prepare。其次，只在main_process的地方进行infer。

【代码】python 笔记 geo-bleu。

所以对于 STRNN来说，它的eval_data的每个元素是：

用来计算两个（或更多）因子的交叉表（即频率表、列联表或透视表）。这个功能特别适用于统计分析和数据探索阶段，帮助理解不同变量之间的关系。

包含 torch.FloatTensor 的元组（如果模型具有嵌入层，则为嵌入输出的一个 + 每层输出的一个），形状为 (batch_size, sequence_length, hidden_size)。的元组，每个元组包含形状为 (batch_size, num_heads, sequence_length, embed_size_per_head) 的 2 个张量。(torch.FloatTensor，形状为 (num_heads,) 或 (num_layers, num_heads)，可选) —

将基础模型和 peft_config 与 get_peft_model() 函数一起包装以创建 PeftModel。模型训练完成后，可以使用 save_pretrained 函数将模型保存到目录中。之后就可以train了。

如果在一个由多台机器组成的集群上运行训练作业，并希望每台机器都独立打印它们的日志信息，可以使用。: 如果在多台机器上运行训练作业，并且只希望最终的模型上传操作在所有进程中执行一次，可以使用。

【代码】numpy 笔记np.atleast_1d。

确保在所有分布式情况下使用 utils.set_seed() 完全设置种子，以使训练可复现。举例：假设我们有：两个GPU用于“多GPU”、一个带有8个工作站的TPU pod。学习率应该根据设备的数量线性缩放。

本地 SGD 是一种分布式训练技术，其中梯度不是每一步都同步。 每个进程都会更新自己版本的模型权重，在给定的步数后，通过跨所有进程平均这些权重来同步它们。 在底层，本地 SGD 代码禁用了自动梯度同步（但累积仍然如预期工作！）。 它每 local_sgd_steps 步（以及在训练循环结束时）平均模型参数。 提高了通信效率，并且特别是在计算机缺乏如 NVLink 等更快的互连时，可以显著加速训练。 如有必要，本地 SGD 也可以与梯度累积结合使用 限制：当前的实现只适用于基本的多 GP

Accelerate 提供了 find_executable_batch_size() 工具。 这个工具在因 OOM（内存溢出）条件失败时重试代码，并自动降低批量大小。 对于每个 OOM 条件，该算法将批量大小减半并重试代码，直到成功。

这样只有进程1上也early stop之后，才会结束accelerate的分布式训练。

【代码】Accelerate 笔记：保存与加载文件。

【代码】huggingface笔记：实验跟踪。

用正确的参数在分布式系统上启动指定的脚本。

device_map在除了第一个GPU之外的所有GPU上均匀分配模型，并且只有在其他GPU放不下时，才在GPU 0上放置内容当你需要在生成 Transformers 模型的输出时使用GPU 0进行一些处理时，这个选项非常有用。

(str 或 torch.dtype, 可选) — 覆盖默认的 torch.dtype，并在特定的数据类型下加载模型。返回模型的输入嵌入，即将词汇映射到隐藏状态的 PyTorch 模块。返回模型的输出嵌入，即将隐藏状态映射到词汇的 PyTorch 模块。是否强制（重新）下载模型权重和配置文件，覆盖已存在的缓存版本。(bool, 可选，默认为 False) -(bool, 可选，默认为 False) -自定义模型的输入嵌入层，通过提供一个新的。获取模型的内存占用（以字节为单位）来替换默认的输入嵌入。

模型与之集成的库名称，如 transformers。仅在 Hub 上未存储此信息时需要。

r=64,：指定 LoRA 层的缩放因子。：设置在 LoRA 层中使用的 dropout 比率，以避免过拟合。r=64：设置每个 LoRA 层的秩，即低秩矩阵的维度。：指定不在 LoRA 层中使用偏置项。：设定这个 LoRA 配置是为了因果语言模型任务。

参考内容： Model training anatomy (huggingface.co)

为了打印GPU利用率和使用Trainer进行训练运行的摘要统计信息，定义了两个辅助函数。在我这边的GPU上跑不起来：可能是不同版本的cuda、pytorch导致的（不确定）

【代码】huggingface 笔记：Llama3-8B。

聊天模型接受一系列消息作为输入，并返回模型生成的消息作为输出。

命令行参数（命令行python run_model.py时导入的）用户定义配置文件（命令行python run_model.py时由config_file导入的）模型所在模块默认参数。

1 Batch2 BatchPAD

绿色的是加上的，红色的是去掉的。

在将预测传递给 compute 之前，需要将 logits 转换为预测。首先数据集需要使用pytorch需要的DataLoader。创建数据集的一个较小子集来进行微调，以减少所需的时间。然后调用 compute 方法计算预测的准确性。然后就是pytorch训练“三件套”【不用设计优化器欸】

AutoClass 是一个快捷方式，它可以自动从模型的名称或路径检索预训练模型的架构。只需要为任务选择适当的 AutoClass 及其关联的预处理类。

【代码】huggingface 笔记：pipeline （quick tour教程）

那其他需要修改哪些内容，使得这个dataset生效呢。添加文件GeolifeDMDataset.json。

1 get_dataset