![](https://img-blog.csdnimg.cn/20190918140158853.png?x-oss-process=image/resize,m_fixed,h_224,w_224)
Deep Learning
Towards deep learning in science and engineering.
狂小虎
永远热爱,永远年轻!
展开
-
pytorch和deep learning技巧和bug解决方法短篇收集
有一些几句话就可以说明白的观点或者解决的的问题,小虎单独收集到这里。原创 2024-08-06 11:03:34 · 946 阅读 · 0 评论 -
pytorch setattr vs. add_module区别
简而言之,就是如果的nn.module类里面的,建议用add_module;其他用setattr。原创 2024-08-06 10:57:07 · 76 阅读 · 0 评论 -
在windows安装mmcv,Install mmcv in windows
安装mmcv直接用pip install会报错,这里小虎看了官方说明后解决了这个问题。原创 2024-08-06 10:44:00 · 23 阅读 · 0 评论 -
YOLOv8 模型性能指标->Precision、Recall、mAP、IoU
混淆矩阵能够提供详细的模型性能评估结果,帮助我们了解模型在不同类别上的表现,并根据具体需求选择合适的评估指标进行模型选择和调整。原创 2024-07-19 10:13:32 · 203 阅读 · 0 评论 -
BDD 100K数据集的json源文件批量转txt格式(YOLO格式/含代码)
想看懂代码的uu可以先了解一下yolo需要的txt数据格式是什么样的,还有BDD的json文件中的数据结构是什么样的。想直接一键应用的看注释即可。原创 2024-07-16 17:16:48 · 223 阅读 · 1 评论 -
目标检测中用到的批量处理数据集中文件方法总结--updated
os模块下的常见函数;path模块下的常见函数;shutil模块下的常见函数;tqdm的巧妙用法。原创 2024-07-09 10:29:20 · 624 阅读 · 0 评论 -
coco dataset标签数据结构(json文件)
object instances(目标实例), object keypoints(目标上的关键点), 和image captions(看图说话),使用json文件存储。我们需要的key分别是"images" 和 “categories"和"annotations”"segmentation"结构。我现在需要做目标检测,所以选取。COCO数据集现在有。原创 2024-07-05 14:46:28 · 343 阅读 · 0 评论 -
关于Yolov8我踩过的那些坑
我当时是缺buildtools,因为我没安装Microsoft visual studio,后来安装之后装好buildtools,就解决了。调用模型时,我喜欢‘copy relative location’,然后win系统默认反斜杠!debug到崩溃然后发现是斜杠的问题,本吗喽轻轻碎掉了。后面喝口水慢慢更新,并且把当时报错代码补上来~就导致路径读取错误!原创 2024-07-03 15:40:40 · 417 阅读 · 0 评论 -
如何延时运行shell里面的程序
有些程序会占用GPU运行到半夜一两点,不想熬夜干活,但是又想最大限度利用硬件。原创 2024-07-02 10:18:06 · 50 阅读 · 0 评论 -
亲测解决Hint: failed to compute its gradient, with torch.autograd.set_detect_anomaly(True)
这个问题是改动了网络层的结构导致不能进行in-place的操作,解决方法是用将in-place改成indirect的。原创 2024-03-13 09:56:38 · 98 阅读 · 0 评论 -
亲测解决default_collate: batch must contain tensors, numpy arrays, numbers, found <class ‘NoneType‘>
这个问题是由于dataloader读取的数据中有None类型的变量,而default_collate不能处理这种变量。解决方法是检查读取的变量,如果None可以设成0不使用。原创 2024-03-13 09:49:17 · 653 阅读 · 0 评论 -
亲测解决unable to import torch, please install it if you want to pre-compile any deepspeed ops.
这个问题是小虎在win上下载deepspeed导致。原因是windows不支持deepspeed。原创 2024-01-04 17:47:55 · 1139 阅读 · 0 评论 -
亲测解决../aten/src/ATen/native/cuda/NLLLoss2d.cu:xxx: Assertion `t >= 0 && t < n_classes` failed
这个问题关键在于,就是数据的标签必须在0到数据标签总数之间。小虎的数据是因为遇到了-1的label,解决方法是把label范围给限定在提示的范围内。原创 2023-12-26 17:15:23 · 1175 阅读 · 0 评论 -
亲测解决Input type (torch.cuda.FloatTensor) and weight type (torch.FloatTensor) should be the same
这个问题是由于模型用list写了module,但是list在to device的操作里面并没有将elements导入gpu。原创 2023-12-22 12:15:35 · 623 阅读 · 0 评论 -
问题解释pydantic_core._pydantic_core.ValidationError: 33 validation errors for Frame
小虎在下载BDD100K,并且将其转化成coco格式出现了这个问题。这个问题涉及到服务器拒绝访问,所以暂时弃用这个数据集。原创 2023-12-22 12:04:44 · 875 阅读 · 0 评论 -
亲测解决ERROR: Could not build wheels for cryptacular
小虎在新电脑配置apex时出现了这个问题,解决办法是降低python版本,用conda安装。原创 2023-12-20 11:09:01 · 986 阅读 · 0 评论 -
亲测解决While copying the parameter named ““,expected torch but received <class ‘numpy.ndarray‘>
这个问题是因为预训练模型保存到的数据类型是numpy,用我的代码转换一下即可。原创 2023-12-13 16:45:07 · 51 阅读 · 0 评论 -
Ubuntu安装cuda驱动
最近新入了一台工作站,着手给其配置一下cuda坏境便于跑深度学习。原创 2023-12-13 16:37:32 · 95 阅读 · 0 评论 -
亲测解决RuntimeError: CUDA error: invalid device ordinal CUDA kernel errors might be asynchronously repo
这个问题是由选错GPU编号导致,改成正确的就好。原创 2023-11-15 15:37:44 · 4750 阅读 · 0 评论 -
亲测解决Pytorch TypeError: object of type ‘numpy.int64‘ has no len()
这个问题是小虎在初始化自适应平均池化的时候遇到的,解决方法是限制初始化时池化大小的类型。原创 2023-11-01 18:03:21 · 1517 阅读 · 0 评论 -
亲测解决Input dtype must be either a floating point or complex dtype. Got: Long
这个问题是小虎在对张量取平均值的时候遇到。解决方法是先将改张量转成浮点数,然后再取平均值。原创 2023-11-01 17:58:35 · 697 阅读 · 0 评论 -
亲测解决The following packages are not available from current channels
这个问题可以通过更新conda解决,但是也可能这个包没有conda版本比如在windows操作系统,那么就无法通过conda安装。原创 2023-11-01 17:42:50 · 532 阅读 · 0 评论 -
第六章(6):Python中的函数—闭包和装饰器
闭包、装饰器原创 2023-10-28 18:15:23 · 141 阅读 · 0 评论 -
亲测解决one of the variables needed for gradient computation has been modified by an inplace operation
这个问题在小虎写深度学习网络模型的时候遇到,解决方法是将inplace的操作换成not inplace的。原创 2023-10-23 17:38:35 · 73 阅读 · 0 评论 -
亲测防止google colab自动disconnect断连GPU
最近小虎在用colab跑diffusion的模型,但是运行的时候一直断连,就算充了会员也依然如此。原创 2023-10-21 11:35:06 · 855 阅读 · 0 评论 -
亲测解决Clearing orphaned inode 或者recovering journal
这两个问题其实是同时出现的,下面就来说一下解决方法。原创 2023-09-23 14:47:24 · 1393 阅读 · 0 评论 -
亲测解决undefined symbol: ‘If you don‘t plan on using image functionality from `torchvision.io`
最近来了一台新的工作站,给其配置深度学习框架。虽然小虎配过不下5台电脑,但是还是出现了这个bug。原创 2023-09-23 14:38:26 · 1138 阅读 · 0 评论 -
将pytorch模型结构转化成detectron的模型结构
其实就是把layer的名字改一下,如果是自己写的layer顺序不同也得改一下。原创 2023-09-05 11:47:04 · 168 阅读 · 0 评论 -
亲测解决Did you run some cuda functions before calling NumCudaDevices() that might have set an error
这个问题是小虎程序运行时遇到的,解决方法时更新一下包然后重启。原创 2023-07-07 18:52:03 · 1919 阅读 · 0 评论 -
亲测解决one of the variables needed for gradient computation has been modified by an inplace operation
小虎最近在写一个分割模型的代码,debug的时候不仅慢而且还出现了这个报错。原创 2023-06-19 16:16:43 · 491 阅读 · 0 评论 -
观点:清除nvidia的gpu内存很危险!
小虎本来想终止一些单个GPU内的程序,采取了kill pid的方法,结果这种方法会关闭一切在所有GPU上运行的程序。原创 2023-06-16 11:17:07 · 382 阅读 · 0 评论 -
调整nn.parameters 在self.parameters()的顺序
nn.parameters 初始化会在self.parameters()的开头,调整顺序需要把这个参数移除引用新类初始化。原创 2023-06-16 10:48:18 · 214 阅读 · 0 评论 -
Import “pycocotools.coco“ could not be resolved from source
小虎在办公室win系统中,使用了conda虚拟环境调试pytorch深度学习代码出现这个问题。原创 2023-06-16 10:36:23 · 309 阅读 · 0 评论 -
Labelme打开标注文件出现a bytes-like obeject is required, not ‘NoneType‘
小虎最近想打开labelme标注好的文件,发现报错了,因为移动过文件,所以想到可能是标注文件信息存在路径。原创 2023-06-14 20:56:18 · 2066 阅读 · 1 评论 -
The following packages are not available from current channels解决
小虎最近想安装使用tsnecuda来可视化一下cnn提取的feature,但是不能安装。原创 2023-05-06 10:45:22 · 704 阅读 · 0 评论 -
服务器使用技巧
autodl租用服务器还是信得过的,价钱合理,但是海外数据传输非常慢。这个时候可以用公网网盘,比如阿里云盘。原创 2023-04-13 15:02:40 · 134 阅读 · 0 评论 -
验证比训练慢?
小虎在某次改完程序后,发现validating比training更慢,发现原来是使用了auto_grad。原创 2023-04-04 14:54:32 · 312 阅读 · 0 评论 -
Loss是否需要backward判断The .grad attribute of a Tensor that is not a leaf Tensor is being accessed
一般来说,我们不需要去看loss里面的梯度。因为修改这个梯度容易导致程序反向传播出问题。但是想看看loss是否有梯度下降,那可以用require_grad。原创 2023-02-01 11:27:34 · 1322 阅读 · 0 评论 -
关于RuntimeError: Cannot re-initialize CUDA in forked subprocess和CUDA error: initialization error的解决
最近小虎在cpu上试跑了detection任务的程序没什么问题,但是在gpu上运行时发生了关于cuda的一些报错,发现解决问题的精华就一句话。下面给出问题解决的例子和代码。原创 2022-09-27 17:06:00 · 2417 阅读 · 0 评论 -
完美解決pytorch载入预训练权重时出现的CUDA error: out of memory
今天小虎远程操纵工作站,想把昨晚练好的预训练模型迁移一下,发现跟往常不一样,nvidia的Cuda报错说出现超出内存的情况。原创 2022-09-11 11:42:51 · 3441 阅读 · 0 评论