qq_43663979的博客

原创 二分类指标计算

函数来计算测试数据集的LogLoss。在计算时需要累加每个批次的loss，最后将总和除以测试集的样本数就可以得到平均Loss。函数来计算测试数据集的AUC。在计算时需要获取每个样本的预测概率和真实标签，可以使用。函数来求解ERR对应的阈值，最后将求解结果乘以100，即可得到EER的百分比形式。函数来计算测试数据集的EER。将输出转换到0~1之间的概率，然后将它们添加到两个列表中。上述代码中，使用sklearn.metrics提供的。上述代码中，使用PyTorch提供的。上述代码中，自定义了一个。

原创 将指定文件夹中的图片随机均匀分为5份，并将每份图片保存到指定的文件夹

【代码】【无标题】

原创 层次遍历文件夹使子文件夹中的图片只保留10张

【代码】层次遍历文件夹使子文件夹中的图片只保留10张。

原创 将图片复制到上层文件夹，删除子文件夹aligned,并且加了文件名称的前缀

【代码】将图片复制到上层文件夹，删除子文件夹aligned。

原创 层次遍历文件夹将文件夹下所有图片复制到指定文件夹中

【代码】层次遍历文件夹将文件夹下所有图片复制到指定文件夹中。

原创 层次遍历文件夹给文件夹中的图片批量添加后缀

【代码】层次遍历文件夹给文件夹中的图片批量添加后缀。

原创 Node: ‘model/conv2d/Conv2D‘ DNN library is not found. [[{{node model/conv2d/Conv2D}}]] [Op:

55555，困了几个小时了，终于解决了。

原创 raise RuntimeError(“{} is a zip archive (did you mean to use torch.jit.load()?)“.format(f.name))

【解决办法】：测试时应与训练时的虚拟环境保持一致，已因此更换测试的虚拟环境即可。

原创 在进行kmeans聚类时由于数据量太大，内存不足，程序被killed 解决内存不足问题: 使用MiniBatchKmeans

原创 minibatch kmeans+可视化(数据集中的图片在resnet网络基础上进行聚类)

【代码】minibatch kmeans+可视化(数据集中的图片在resnet网络基础上进行聚类)

原创 从视频文件夹中每个视频中提取一帧并保存至指定文件夹【帧的名字与视频相同】

【代码】从视频文件夹中每个视频中提取一帧并保存至指定文件夹【帧的名字与视频相同】

原创 RuntimeError: one of the variables needed for gradient computation has been modified by an inplace o

解决]我的解决方法主要是：更改所有optimizer.step()位置，将所有optimizer.step()都放到最后一个loss.backward()之后,泪目，几天了，终于改好了。网上的方法都试了对我没用。

原创 模型训练到一个新batch时会被killed【原因以及解决方法】

模型训练到一个新batch时会被killed【原因以及解决方法】

原创 cpu上训练的模型放到gpu上继续训练

cpu上训练的模型放到gpu上跑

原创 linux显存与gpu利用率都很低

data，label = data.cuda(),label.cuda()model.cuda()

原创 runtime error：one of the variables needed for gradient computation has been modified by an inplace a

when i changed the pytorch version to 1.3, and there is no problem

原创 IndexError:The shape of the mask[32] at index 0 does not match the shape of the indexed tensor[224,]

debug并检查输入，可能是输入的尺寸不对，debug看中间的向量的shape，重点关注出错处shape为32，224的变量，一般需要进行维度的转化，可能需要permute()函数对训练输入的data形状进行调整。

原创 mat1 dim 1 mustmatch mat2 dim0

极大可能是输入网络的图片维度有问题，一般在transform里面设置。

原创 GPU利用率忽高忽低

很有可能是从外部磁盘读取的数据集，最好将数据集copy到内存。

原创 can‘t open/read file: check file path/integrity

报错·：[ WARN:0@0.075] global D:\a\opencv-python\opencv-python\opencv\modules\imgcodecs\src\loadsave.cpp (239) cv::findDecoder imread_(‘I:\datasets\WildDeepfake。修正：文件夹损坏了，重新复制一份。

原创 cutmix

import cv2 as cvimport matplotlib.pyplot as pltimport numpy as npimport randomimport numpy as npimport cv2import osimport mathimport torchfrom torch import nnfile_root = r’E:\wd_0.01_deal\wd_train_0.01\wd_train_0.01_4_2parts\real/’ # 当前文件夹下的所有图片

原创 2022-03-07 15:27:51.475298: E tensorflow/stream_executor/cuda/cuda_dnn.cc:359] Loaded runtime CuDNN

命令行输入：!apt install --allow-change-held-packages libcudnn8=8.1.0.77-1+cuda11.2

原创 ubuntu复制文件夹时出错

ubuntu复制文件夹出错

原创 Exploiting Shared Representations for Personalized Federated Learning【2021 icml】

FEDREP

原创 优化器的选择

优化器选择

原创 持续学习tip

持续学习

原创 联邦学习+元学习：Federated Meta-Learning with Fast Convergence and Efficient Communication.(Fed-Meta)

元学习+联邦学习

原创 CUDA error: no kernel image is available for execution on the device

CUDA error: no kernel image is available for execution on the device

原创 解决 - ZeroDivisionError：在 Python 中浮点除以零

解决 - ZeroDivisionError：在 Python 中浮点除以零

原创 遍历文件夹中的图片并进行处理并保存

py

原创 pytorch保存模型与加载模型

模型保存与加载

原创 Python:OSError[WinError 123]文件名、目录名或卷标语法不正确

不是网上常见的/,r,\问题，便是文件名不能太奇怪，去掉特殊字符

原创 wandb错误

wandb错误api_key not configured (no-tty). Run wandb login解决方案：打开终端：pip install wandb **wandb login**按照提示打开链接：You can find your API key in your browser here: https://wandb.ai/authorize登录并获取key，输入到终端： Paste an API key from your profile and hi

原创 跑热力图时的错误：TypeError: init() got an unexpected keyword argument ‘target_layer’

解决：版本问题，直接pip install grad-cam==1.3.6

原创 resnet入手深度学习

import torchimport torch.nn as nnimport torch.optim as optimimport torchvisionimport torchvision.transforms as transformsimport argparsefrom resnet import resnet50# 定义是否使用GPUdevice = torch.device("cuda" if torch.cuda.is_available() else "cpu")#

原创 一句话将fat32 转为 ntfs

磁盘明明有空间但是提示空间不足，原因可能是fat32单个最大文件的限制为4gbconvert G:/FS:NTFS /V将fat32 转为 ntfs

原创 python计算auc和rank

自己写的aucdef calAUC(prob,labels): f = list(zip(prob,labels)) rank = [values2 for values1,values2 in sorted(f,key=lambda x:x[0])] rankList = [i+1 for i in range(len(rank)) if rank[i]==1] posNum = 0 negNum = 0 for i in range(len(labels)): if(l

原创 将文件夹中的子文件夹中的图片随机删除一半

import osimport randomrootdir = 'F://F++images//deepfakes_aligned_1'for root,dirs,files in os.walk(rootdir): for dir in dirs: print(os.path.join(root,dir)) num = 0; for file in files: feed = random.randint(0, 10) if

原创 AttributeError: ‘***‘ object has no attribute ‘targets‘

应该是torch版本的问题，不同torch对应的后缀不同，我正在尝试修改这个问题，推荐查一下torch英文手册，我之前的问题是torch版本问题过低，我需要将data变成train_data，把targets变成train_labels。

原创 RuntimeError: cuDNN error: CUDNN_STATUS_NOT_INITIALIZED解决方法

内存空间不够，减小batchsize大小，比如我从256->128