- 博客(39)
- 收藏
- 关注
原创 【踩坑日记30】ValueError: The repository for fill50k contains custom code which must be executed to correc
无法直接从huggingface下载模型or数据库,设置镜像网站。
2024-08-01 09:18:47
316
原创 【踩坑日记29】UserWarning: Arguments other than a weight enum or `None` for ‘weights‘ are deprecated since
(指定权重版本)或者。(权重选择最新版本)
2024-07-31 13:43:16
448
原创 【踩坑日记28】UserWarning: Palette images with Transparency expressed in bytes should be converted to RGBA
RGBA和RGB是两种常见的颜色模式,分别表示带有透明度的颜色和不带透明度的颜色。
2024-07-31 10:49:22
271
原创 【踩坑日记27】pydantic.error_wrappers.ValidationError: 1 validation error for ControlNetUnit resize_mode
注:由于controlnet扩展的最新版本不适用于此库,因此下载1.1.436版本。
2024-07-22 19:04:37
241
原创 【踩坑日记26】Connection timed out fatal: expected flush after ref listing ```
直接换一个域名:相比原来的拉取语句只增加了gitclone.com/的域名。
2024-07-22 12:38:25
218
原创 【学习笔记9】一些遇到的如何写code的问题
np.max()求自身的最大值,而np.maxmum()求两者之间的最大值。np.vstack:接受一个输入,竖直方向拼接,注意拼接元素的维度。np.hstack:接受一个输入,水平方向拼接。生成指定方差、均值、维度的分布。
2024-06-12 19:52:35
290
原创 【学习笔记8】阅读StyleID论文源码
随机数,分为真随机数和伪随机数,真随机数需要自然界中真实的随机物理现象才能产生,而对于计算机来说生成这种随机数是很难办到的。而伪随机数是通过一个初始化的值,来计算来产生一个随机序列,如果初始值是不变的,那么多次从该种子产生的随机序列也是相同的。这个初始值一般就称为种子。
2024-06-12 19:39:39
809
原创 【学习笔记7】阅读ddpo代码
是一个内置异常类,用于表示一个方法或函数应该被实现,但实际上并没有被实现。它通常用于抽象基类(ABC)中,作为占位符,提醒子类必须覆盖这个方法。使用自动混合精度训练(auto Mixed Precision,AMP)可以大幅度降低训练的成本并提高训练的速度。globals – 变量作用域,全局命名空间,如果被提供,则必须是一个字典对象。用于跟踪每个提示的统计信息的类。locals – 变量作用域,局部命名空间,如果被提供,可以是任何映射对象。在计算平均值和标准值之前,要保留在缓冲区中的最小样本数。
2024-06-11 10:23:11
498
原创 【踩坑日记25】ImportError: cannot import name ‘DDPOConfig‘ from ‘trl‘ (unknown location)
等只在main上可用,所以需要从源代码安装TRL。trl作者表示将很快在pypi上发布一个版本,包括+许多其他错误修复。(2024.6.4记,后续发布新版本会更新!
2024-06-10 10:25:06
274
原创 【踩坑日记24】ModuleNotFoundError: No module named ‘pytorch_lightning.utilities.distributed‘
应该是包与包之间的依赖关系。
2024-06-07 11:42:10
556
原创 【踩坑日记23】UserWarning: Plan failed with a cudnnException: CUDNN_BACKEND_EXECUTION_PLAN_DESCRIPTOR
问题出在文件夹“anaconda3/envs/diffusion_ddpo/”中,是关于环境中的包的问题,通过查阅pytorch的github官网,发现是Pytorch 2.3.0的问题。
2024-06-03 18:07:57
3021
10
原创 【学习笔记6】python中@staticmethod的作用
staticmethod 是 Python 中用来定义静态方法的装饰器。静态方法是指与类相关联但不涉及实例的方法,因此它们不会接收类实例作为第一个参数(通常命名为 self)。相反,静态方法只接收传递给它们的参数,并且可以通过类名直接调用,而无需创建类的实例。使用 @staticmethod 装饰器可以将一个方法标记为静态方法。这样一来,当你调用这个方法时,就不需要创建类的实例了。
2024-05-16 21:15:41
314
原创 【踩坑日记21】json.decoder.JSONDecodeError: Expecting value: line 1 column 1 (char 0)
【代码】【踩坑日记20】json.decoder.JSONDecodeError: Expecting value: line 1 column 1 (char 0)
2024-05-15 10:58:14
169
原创 【踩坑日记19】如何在accelerate的config中设置dynamo_backend(未解决)
【代码】【踩坑日记21】如何在accelerate的config中设置dynamo_backend。
2024-04-30 19:46:47
918
原创 【踩坑日记20】RuntimeError: Invalid scalar type
在另一个环境中能跑,怀疑是环境不匹配,重新配置环境。重新配置环境后,不报错,代码能跑,但是出现一串警告。gloo用于cpu,而nvcc用于gup。查阅资料,是cpu和gpu混用。
2024-04-29 19:32:44
920
2
原创 【学习笔记5】Linux下cuda、cudnn、pytorch版本对应关系
NVIDIA CUDA Toolkit (CUDA)为创建高性能 GPU 加速应用程序提供了一个开发环境。借助 CUDA 工具包,您可以在 GPU 加速的嵌入式系统、桌面工作站、企业数据中心、基于云的平台和 HPC 超级计算机上开发、优化和部署您的应用程序。该工具包包括 GPU 加速库、调试和优化工具、C/C++ 编译器以及用于部署应用程序的运行时库。重新新建环境,安装cuda11版本的包和对应的pytorch。说明cuda、cudnn版本是对应的,没有问题。六个cuda版本,目前在用的是。
2024-04-28 12:20:17
1907
原创 【踩坑日记18】如何在config.yam文件夹中添加新的参数?
原因是将没有默认值的参数在定义时放在了有默认值的参数的后面。代码中,没有初始化’lora’参数。在定义train参数的最后加上。
2024-04-26 15:51:45
192
原创 【学习笔记4】requires_grad()和requires_grad_()的区别是什么?
是一个张量的属性,用于标识该张量是否需要计算梯度。属性相同,但是它是一个原地操作,可以修改张量本身的属性。,表示该张量不需要计算梯度。如果需要计算梯度,需要将。是一个张量的方法,用于原地修改该张量的。
2024-04-25 18:37:09
409
1
原创 【学习笔记3】gpt的language modeling head和regression head是什么意思?
在将这些Transformer输出转换为单词的最后一步中,首先将它们线性投影,然后对其应用softmax,返回目标序列中的位置(i)是词汇表中某个单词的概率。所有这些发生的层是LM头。在GPT-3或BERT等大型语言模型(LLM)的上下文中,术语“头”是指在预训练的基础模型之上添加的附加层或机制,以使其适应特定任务。这些可能包括从用于情感分析等任务的分类层到用于机器翻译或问答等任务的更复杂的架构。我们的想法是对特定任务数据的这些附加层进行微调,以使LLM的一般语言理解能力适应手头任务的特定要求。
2024-04-24 09:20:55
667
原创 【学习笔记2】transformers的from_pretrained方法中load_in_8bit是什么意思?
将load_in_8bit或load_in_4bit参数添加到from_pretrained()并设置device_map="auto"以有效地将模型分发到您的机器。加载为mixed-8bit quantized模型意味着将神经网络模型量化为8位精度,并且在某些层面或部分采用混合精度量化。在深度学习中,通常使用32位浮点数来表示网络参数和激活值,但是将模型量化为8位意味着将参数和激活值表示为8位整数。量化模型可以带来许多好处,包括减少模型的内存占用和加快推理速度,这对于在资源受限的设备上部署模型非常有用。
2024-04-23 18:30:45
582
原创 【踩坑日记16】RuntimeError: Error(s) in loading state_dict for GPTHydraHeadWithValueModel
期间未对代码进行修改,只是将。
2024-04-15 15:46:59
246
1
原创 【踩坑日记15】safetensors_rust.SafetensorError: Error while deserializing header: HeaderTooLarge
下载的权重中textencoder的。主页,重新下载textencode。
2024-04-14 14:32:07
1673
1
原创 【踩坑日记14】用accelerater实现单机多卡运行程序时,程序卡死。
调试程序,看看程序在哪一个语句中卡死。表示使用的线程数(卡数),我要使用单机多卡,所以。程序跑动了,但在某一处又卡住了。(n为所需要的卡数)。表示使用的机器数目,
2024-04-10 19:36:19
653
1
原创 【学习笔记1】ppo算法中的损失、奖励的含义
通过监控score_train的变化,可以了解代理模型的训练进展情况,并据此调整训练过程的参数或策略,以获得更好的训练结果。在PPO中,这通常是通过最大化或最小化预期回报的方式来更新策略网络的参数。在PPO中,通常会使用基于值函数的优势估计来计算PG Loss,而VF Loss 则用于优化值函数网络,以最小化值函数的估计误差。是指PPO算法中的总体损失,通常由PG Loss 和 VF Loss 组成,可能还包括一些额外的正则化项。在PPO中,通常会监视平均奖励的变化,以评估算法的性能和学习进度。
2024-03-27 19:09:38
910
原创 【踩坑日记10】ValueError: Error initializing torch.distributed using env:// rendezvous: environment variab
【代码】【踩坑日记10】ValueError: Error initializing torch.distributed using env:// rendezvous: environment variab。
2024-03-24 16:20:58
939
1
原创 【踩坑日记9】TypeError: Accelerator.__init__() got an unexpected keyword argument ‘logging_dir‘
在 accelerate 0.18.x版本之后logging_dir这个参数已经被弃用并且被删除,现在采用的是 project_dir 参数。重新安装accelerate包,降级为0.18.0版本。
2024-03-24 16:15:14
495
2
原创 【踩坑日记7】is the correct path to a directory containing a config.json file
所给的’/supervised_finetuned_gpt_path’在huggingface中没有找到,即’https://huggingface.co/supervised_finetuned_gpt_path’不存在。例如我需要的是gpt2,于是我从’https://huggingface.co/openai-community/gpt2’上下载模型,放到当前文件夹中。将’/supervised_finetuned_gpt_path’改成huggingface存在的模型。
2024-03-14 21:30:37
363
1
原创 【踩坑日记6】如何使用vscode远程调试accelerate launch语句
【代码】【踩坑日记6】如何使用vscode远程调试accelerate launch语句。
2024-03-14 10:38:15
1100
1
原创 【踩坑日记5】 `--mixed_precision` was set to a value of `‘no‘`
【代码】【踩坑日记5】 `--mixed_precision` was set to a value of `‘no‘`
2024-03-14 10:33:11
253
1
原创 【踩坑日记4】The config attributes {‘scaling_factor‘: 0.18215} were passed to AutoencoderKL, but are not e
【代码】【踩坑日记4】The config attributes {‘scaling_factor‘: 0.18215} were passed to AutoencoderKL, but are not e。
2024-03-14 10:32:14
256
原创 【踩坑日记3】NewConnectionError(‘<urllib3.connection.HTTPSConnection object at 0x7fcadb7b0430>: Failed to
代码涉及到huggingface的模型,但是服务器没有VPN。将模型下载至服务器中。
2024-03-14 10:10:25
2156
原创 【踩坑日记2】OSError: libcudart.so.12: cannot open shared object file: No such file or directory
是包之间版本的相互依赖,其他版本包阻止DeepSpeed的安装,尝试先安装DeepSpeed,再安装其他包。
2024-02-27 18:17:12
1668
原创 【踩坑日记1】pip install git+https://github.com/xxx/xxx替换成本地下载编译安装解决网络超时问题
cd XXX。
2024-02-27 16:50:00
633
空空如也
空空如也
TA创建的收藏夹 TA关注的收藏夹
TA关注的人