月亮不知道的博客

提示微调（Prompt Tuning）通过在输入点或中间层前置一组可学习的提示 tokens，并在微调过程中只优化这些 tokens 的参数，从而实现参数高效的微调方法。在微调过程中，只更新这些适配器模块的参数，而 BERT 模型的参数保持不变。在微调过程中，只更新这些低秩矩阵的参数，而原始权重矩阵保持不变。更新适配器参数：只更新适配器模块的参数，使模型能够适应特定的下游任务。插入适配器模块：在预训练模型的每一层之间插入适配器模块。冻结原模型参数：在微调过程中，预训练模型的参数保持不变。

ScanNet 数据集是一个大规模的 RGB-D 视频数据集，它包含了丰富的三维场景理解任务所需的数据，如三维物体分类、语义体素标签和 CAD 模型检索等。和.sens和和.txt文件（如下面进行详细的解释。

混合精度训练（Mixed Precision Training）是一种在深度学习中提高训练速度和减少内存占用的技术。在PyTorch中，通过使用半精度浮点数（16位浮点数，FP16）和单精度浮点数（32位浮点数，FP32）的组合。

训练大模型需要巨大的资源，单卡显存已经越来越难以满足存放整个模型，因此诞生了大模型训练技术，典型的如 DeepSpeed ZeRO 和 FairScale 的完全分片数据并行（Fully Sharded Data Parallel, FSDP）技术，其允许在数据并行进程之间分片模型的参数、梯度和优化器状态，并同时仍然保持数据并行的简单性。DeepSpeed的Zero Redundancy Optimizer（ZeRO）通过在多个GPU之间分割模型的权重、梯度和优化器状态，显著减少了每个GPU所需的内存量。

梯度检查点（Gradient Checkpointing）是一种深度学习优化技术，它的目的是减少在神经网络训练过程中的内存占用。在训练深度学习模型时，我们需要存储每一层的激活值（即网络层的输出），这样在反向传播时才能计算梯度。但是，如果网络层数非常多，这些激活值会占用大量的内存。梯度检查点技术通过只在前向传播时保存部分激活值的信息，而在反向传播时重新计算其他激活值，从而减少了内存的使用。

OpenMMLab项目中构建数据集的基础类BaseDataset类的时候，对多进程数据加载有一个优化，叫做 ‘‘’序列化’。先看代码部分在分布式训练中，如果每个GPU rank都加载完整的data_list，那么确实会导致内存的重复使用。为了解决这个问题，serialize_data属性被设置为True时，可以通过序列化数据来节省内存，这样每个工作进程就可以共享主进程的RAM，而不是各自复制一份数据。

我在编译安装nccl 库的时候遇到的问题。代替 Anaconda 的。

在知识蒸馏时，我们通常不会仅让学生模型去模仿最高概率的那个类别，而是让它学习整个教师模型的“软化”概率分布，比如通过提高温度参数（temperature scaling）来使分布更加平滑，分布中的每个类别的概率都将被赋予更高的相对重要性，即使它们不是最大概率的类别。，在一个图像分类任务中，教师模型可能是一个大型的预训练神经网络，它对输入图片计算出各类别的概率分布，如对于10类问题，不仅预测出哪个类别最有可能是正确的，还给出所有类别对应的概率值。学生模型则根据这些软标签进行学习，从而模仿教师模型的决策过程。

shift这里是对齐了序列长度之后的标签数据与预测logits进行交叉熵损失计算。由于是自回归模型，因此需要对logits和labels进行shift操作，使得每个位置的预测仅对应下一个位置的真实标签。

【代码】VSCode debug torchrun方式的多卡python代码。

【代码】llama权重下载。

修改下面的部分。

【代码】VSCode debug ddp方式的多卡python代码。

【代码】huggingface 本地模型加载报错 Error no file named pytorch_model.bin, tf_model.h5, model.ckpt.index or flax_mo。

huggingface 本地加载模型阅读里面的函数，可以知道下载的文件 url 和存储位置根据输出可以知道是。

因此，解决方法是把git clone且编译之后的文件夹A/A复制到anaconda路径。我git clone 之后编译安装了一个包A，但是A没法import。而查看A的时候发现在anaconda路径。

这个网页把所有文件下载下来，传到.cache/huggingface/transformers下，然后把代码改。但我连不到外网没办法直接下载，所以去。

【代码】【clip源码阅读】VisionTransformer。

nn.Linear和kernel=1的nn.Conv的区别

解决vscode python错误的错误波浪线的问题记录