- 博客(26)
- 收藏
- 关注
RSS订阅原创 【学习笔记6】python中@staticmethod的作用
staticmethod 是 Python 中用来定义静态方法的装饰器。静态方法是指与类相关联但不涉及实例的方法，因此它们不会接收类实例作为第一个参数（通常命名为 self）。相反，静态方法只接收传递给它们的参数，并且可以通过类名直接调用，而无需创建类的实例。使用 @staticmethod 装饰器可以将一个方法标记为静态方法。这样一来，当你调用这个方法时，就不需要创建类的实例了。
2024-05-16 21:15:41
186
原创 【踩坑日记21】json.decoder.JSONDecodeError: Expecting value: line 1 column 1 (char 0)
【代码】【踩坑日记20】json.decoder.JSONDecodeError: Expecting value: line 1 column 1 (char 0)
2024-05-15 10:58:14
127
原创 【踩坑日记19】如何在accelerate的config中设置dynamo_backend（未解决）
【代码】【踩坑日记21】如何在accelerate的config中设置dynamo_backend。
2024-04-30 19:46:47
430
原创 【踩坑日记20】RuntimeError: Invalid scalar type
在另一个环境中能跑，怀疑是环境不匹配，重新配置环境。重新配置环境后，不报错，代码能跑，但是出现一串警告。gloo用于cpu，而nvcc用于gup。查阅资料，是cpu和gpu混用。
2024-04-29 19:32:44
332
原创 【学习笔记5】Linux下cuda、cudnn、pytorch版本对应关系
NVIDIA CUDA Toolkit （CUDA）为创建高性能 GPU 加速应用程序提供了一个开发环境。借助 CUDA 工具包，您可以在 GPU 加速的嵌入式系统、桌面工作站、企业数据中心、基于云的平台和 HPC 超级计算机上开发、优化和部署您的应用程序。该工具包包括 GPU 加速库、调试和优化工具、C/C++ 编译器以及用于部署应用程序的运行时库。重新新建环境，安装cuda11版本的包和对应的pytorch。说明cuda、cudnn版本是对应的，没有问题。六个cuda版本，目前在用的是。
2024-04-28 12:20:17
1148
原创 【踩坑日记18】如何在config.yam文件夹中添加新的参数？
原因是将没有默认值的参数在定义时放在了有默认值的参数的后面。代码中，没有初始化’lora’参数。在定义train参数的最后加上。
2024-04-26 15:51:45
162
原创 【学习笔记4】requires_grad()和requires_grad_()的区别是什么？
是一个张量的属性，用于标识该张量是否需要计算梯度。属性相同，但是它是一个原地操作，可以修改张量本身的属性。，表示该张量不需要计算梯度。如果需要计算梯度，需要将。是一个张量的方法，用于原地修改该张量的。
2024-04-25 18:37:09
139
1
原创 【学习笔记3】gpt的language modeling head和regression head是什么意思？
在将这些Transformer输出转换为单词的最后一步中，首先将它们线性投影，然后对其应用softmax，返回目标序列中的位置（i）是词汇表中某个单词的概率。所有这些发生的层是LM头。在GPT-3或BERT等大型语言模型（LLM）的上下文中，术语“头”是指在预训练的基础模型之上添加的附加层或机制，以使其适应特定任务。这些可能包括从用于情感分析等任务的分类层到用于机器翻译或问答等任务的更复杂的架构。我们的想法是对特定任务数据的这些附加层进行微调，以使LLM的一般语言理解能力适应手头任务的特定要求。
2024-04-24 09:20:55
270
原创 【学习笔记2】transformers的from_pretrained方法中load_in_8bit是什么意思？
将load_in_8bit或load_in_4bit参数添加到from_pretrained（）并设置device_map="auto"以有效地将模型分发到您的机器。加载为mixed-8bit quantized模型意味着将神经网络模型量化为8位精度，并且在某些层面或部分采用混合精度量化。在深度学习中，通常使用32位浮点数来表示网络参数和激活值，但是将模型量化为8位意味着将参数和激活值表示为8位整数。量化模型可以带来许多好处，包括减少模型的内存占用和加快推理速度，这对于在资源受限的设备上部署模型非常有用。
2024-04-23 18:30:45
250
原创 【踩坑日记16】RuntimeError: Error(s) in loading state_dict for GPTHydraHeadWithValueModel
期间未对代码进行修改，只是将。
2024-04-15 15:46:59
198
1
原创 【踩坑日记15】safetensors_rust.SafetensorError: Error while deserializing header: HeaderTooLarge
下载的权重中textencoder的。主页，重新下载textencode。
2024-04-14 14:32:07
769
1
原创 【踩坑日记14】用accelerater实现单机多卡运行程序时，程序卡死。
调试程序，看看程序在哪一个语句中卡死。表示使用的线程数（卡数），我要使用单机多卡，所以。程序跑动了，但在某一处又卡住了。（n为所需要的卡数）。表示使用的机器数目，
2024-04-10 19:36:19
398
1
原创 【学习笔记1】ppo算法中的损失、奖励的含义
通过监控score_train的变化，可以了解代理模型的训练进展情况，并据此调整训练过程的参数或策略，以获得更好的训练结果。在PPO中，这通常是通过最大化或最小化预期回报的方式来更新策略网络的参数。在PPO中，通常会使用基于值函数的优势估计来计算PG Loss，而VF Loss 则用于优化值函数网络，以最小化值函数的估计误差。是指PPO算法中的总体损失，通常由PG Loss 和 VF Loss 组成，可能还包括一些额外的正则化项。在PPO中，通常会监视平均奖励的变化，以评估算法的性能和学习进度。
2024-03-27 19:09:38
454
原创 【踩坑日记10】ValueError: Error initializing torch.distributed using env:// rendezvous: environment variab
【代码】【踩坑日记10】ValueError: Error initializing torch.distributed using env:// rendezvous: environment variab。
2024-03-24 16:20:58
290
1
原创 【踩坑日记9】TypeError: Accelerator.__init__() got an unexpected keyword argument ‘logging_dir‘
在 accelerate 0.18.x版本之后logging_dir这个参数已经被弃用并且被删除，现在采用的是 project_dir 参数。重新安装accelerate包，降级为0.18.0版本。
2024-03-24 16:15:14
322
1
原创 【踩坑日记7】is the correct path to a directory containing a config.json file
所给的’/supervised_finetuned_gpt_path’在huggingface中没有找到，即’https://huggingface.co/supervised_finetuned_gpt_path’不存在。例如我需要的是gpt2，于是我从’https://huggingface.co/openai-community/gpt2’上下载模型，放到当前文件夹中。将’/supervised_finetuned_gpt_path’改成huggingface存在的模型。
2024-03-14 21:30:37
242
1
原创 【踩坑日记6】如何使用vscode远程调试accelerate launch语句
【代码】【踩坑日记6】如何使用vscode远程调试accelerate launch语句。
2024-03-14 10:38:15
559
1
原创 【踩坑日记5】 `--mixed_precision` was set to a value of `‘no‘`
【代码】【踩坑日记5】 `--mixed_precision` was set to a value of `‘no‘`
2024-03-14 10:33:11
208
1
原创 【踩坑日记4】The config attributes {‘scaling_factor‘: 0.18215} were passed to AutoencoderKL, but are not e
【代码】【踩坑日记4】The config attributes {‘scaling_factor‘: 0.18215} were passed to AutoencoderKL, but are not e。
2024-03-14 10:32:14
168
原创 【踩坑日记3】NewConnectionError(‘＜urllib3.connection.HTTPSConnection object at 0x7fcadb7b0430＞: Failed to
代码涉及到huggingface的模型，但是服务器没有VPN。将模型下载至服务器中。
2024-03-14 10:10:25
1569
原创 【踩坑日记2】OSError: libcudart.so.12: cannot open shared object file: No such file or directory
是包之间版本的相互依赖，其他版本包阻止DeepSpeed的安装，尝试先安装DeepSpeed，再安装其他包。
2024-02-27 18:17:12
950
原创 【踩坑日记1】pip install git+https://github.com/xxx/xxx替换成本地下载编译安装解决网络超时问题
cd XXX。
2024-02-27 16:50:00
290
空空如也
空空如也
TA创建的收藏夹 TA关注的收藏夹
TA关注的人