自定义博客皮肤VIP专享

*博客头图:

格式为PNG、JPG,宽度*高度大于1920*100像素,不超过2MB,主视觉建议放在右侧,请参照线上博客头图

请上传大于1920*100像素的图片!

博客底图:

图片格式为PNG、JPG,不超过1MB,可上下左右平铺至整个背景

栏目图:

图片格式为PNG、JPG,图片宽度*高度为300*38像素,不超过0.5MB

主标题颜色:

RGB颜色,例如:#AFAFAF

Hover:

RGB颜色,例如:#AFAFAF

副标题颜色:

RGB颜色,例如:#AFAFAF

自定义博客皮肤

-+
  • 博客(476)
  • 收藏
  • 关注

原创 DRW的公式推导及代码解析

在第 77 个 epoch 时,模型可能已经充分学习到了数据中的特征,尤其是在使用 BKD 的情况下,模型不仅能够学到头部类别的泛化特征,还能够有效提升尾部类别的表现。:Acne04 数据集的规模较小,类别不平衡的情况可能并没有特别严重,因此即使没有采用更复杂的有效样本计算,类平衡蒸馏就能够取得显著的性能提升。:BKD 蒸馏过程中使用的温度参数 TTT 可能在此时已经使得教师模型的软标签足够平滑,进一步帮助学生模型更好地学习尾部类别的特征,而无需通过有效样本策略来调整每类的权重分布。

2024-09-12 22:52:08 268

原创 BCE损失解析

:, None]的作用是将 1D 张量转换为 2D 张量,以便进行广播,使得我们可以在元素级别上进行逐行相除的操作。它通过增加一个维度来确保张量形状匹配。

2024-09-11 22:55:40 312

原创 交叉熵函数与kl散度的区别

教师模型的输出概率分布用来指导学生模型的训练,但直接使用教师模型的概率分布往往过于“尖锐”(即,教师模型的 softmax 输出大部分概率集中在正确类别)。温度调节可以让模型的预测分布更加平滑,从而在蒸馏过程中更有效地传递知识。下面将解释为什么 KL 散度与温度结合,以及如何使用温度参数。在知识蒸馏中,通过引入较高的温度 TTT,可以让教师模型输出的概率分布变得更加平滑,从而包含更多类的信息,帮助学生模型更好地学习。在知识蒸馏过程中,学生模型通常通过最小化学生模型与教师模型之间的。在深度学习中,尤其是。

2024-09-11 18:22:34 972

原创 把kl散度拆开

2024-09-06 17:31:23 99

原创 adkd

【代码】adkd。

2024-09-06 16:40:30 231

原创 reshape(-1)

的作用是将多维张量变成一维张量,特别是在你有一个二维或更高维度的张量时,可以将它压平为一维。我们通过以下例子展示。

2024-09-06 14:32:59 197

原创 _get_gt_mask、cat_mask、_get_other_mask

【代码】_get_gt_mask、cat_mask、_get_other_mask。

2024-09-06 14:31:17 273

原创 为什么说kl散度包含ce损失

KL散度包含交叉熵损失的原因在于它们的公式结构,KL散度的计算中包含了交叉熵损失部分,加上一个固定的熵项。优化KL散度的过程中,也在优化交叉熵损失。

2024-09-05 15:11:07 828

原创 学习率的选择

不同论文中学习率的差异取决于模型架构、数据集大小、优化器选择、训练阶段(预训练或微调)、任务类型(回归或分类)以及使用的学习率调度策略。通常较大的学习率用于初期的快速探索,而较小的学习率用于精细调整模型权重。在深度学习中,合理选择学习率是模型成功训练的关键因素之一。

2024-09-05 10:39:02 372

原创 mask和class_conf_mask的作用

表示第1、第3和第5类的置信度小于等于阈值,标记为。

2024-09-04 17:28:08 727

原创 读取ISIC2019数据集

【代码】读取ISIC2019数据集。

2024-08-28 15:28:15 121

原创 单独为某个文件夹打开一页vscode窗口

2024-08-27 12:24:02 93

原创 双重求和公式 从特征图到logits

2024-08-26 16:45:34 302

原创 清除VSCode缓存 乱跳转的问题

【代码】清除VSCode缓存 乱跳转的问题。

2024-08-23 22:41:44 128

原创 指定GPU

【代码】指定GPU。

2024-08-13 11:48:35 183

原创 模型初始化的讲究

在模型参数初始化过程中,通常会用到随机数生成器来设置权重(例如使用 Kaiming 初始化)。这些随机数生成器的状态是动态变化的,因此添加或移除任何一个子模块都会影响随机数生成器的状态,导致后续层的权重初始化产生不同的随机数。: 当模型被实例化时,所有子模块(例如卷积层、全连接层、批量归一化层等)会按其在代码中的出现顺序进行初始化。如果你添加或移除了一些子模块(例如注释掉的分支网络),即使这些子模块在。因此,添加或移除子模块会改变模型中各层的初始化顺序,从而影响整个网络的参数初始化。

2024-07-18 16:24:33 176

原创 余弦相似度

【代码】余弦相似度。

2024-07-09 15:13:58 146

原创 CIFAR10-LT DermalMNIST 从dataset到dataloader

【代码】CIFAR10-LT DermalMNIST 从dataset到dataloader。

2024-07-08 14:25:50 165

原创 pytorch 指定GPU设备

这种方法是通过环境变量限制可见的CUDA设备,从而在多个GPU的机器上只让PyTorch看到并使用指定的GPU。这种方式的好处是所有后续的CUDA调用都会使用这个GPU,并且代码中不需要显式地指定设备索引。这种方法是在代码中直接指定要使用的设备索引,无需修改环境变量。这种方式更加显式,并且可以在同一脚本中使用多个不同的GPU。

2024-07-08 11:10:59 413

原创 读取并训练DermalMNIST

由于后续训练和预测用到的标签格式需要是一维数据,而DermaMNIST类读取到的DermaMNIST标签数据是二维数据,所以需要采取措施让标签数据变为一维的。

2024-07-02 17:27:30 267

原创 在 Excel 中的单元格内开始一行新文本

若要在工作表单元格中开始一行新的文本或在文本的行或段之间添加间距,请按 Alt+Enter 插入换行符。按 Alt+Enter 插入换行符。单击所选单元格内想换行的位置。双击要插入换行符的单元格。

2024-07-02 17:22:02 393

原创 读取MedMNIST的每个类的数量

【代码】读取MedMNIST的每个类的数量。

2024-07-01 16:16:18 209

原创 如何用matplotlib绘制图像分类任务的类别特征空间分布

【代码】如何用matplotlib绘制图像分类任务的类别特征空间分布。

2024-07-01 15:21:45 281

原创 论文影响因子

谷歌一般只能看到期刊或者会议名字。

2024-06-25 15:45:53 135

原创 对比学习

对比学习通过对比数据对的“相似”或“不同”以获取数据的高阶信息。由同一张原始图片扩增而来的两张新的图片,叫做Positive Pairs。将这两张图片送入深度学习模型中,我们希望深度学习模型学习到这两个图像是相似的。由不同原始图片扩增而得到的新的图像,成为Negtive Pairs。将Negtive Pairs送入深度学习模型中,我们希望深度学习模型学习到这两个图像是不同的。

2024-06-22 19:50:42 218

原创 from import *

的方式导入模块将会失败。

2024-06-21 16:55:53 129

原创 BBN 论文代码分析

那么返回的。

2024-06-21 10:25:52 153

原创 _init_paths.py 隐形地改变文件路径

在主文件里的第一行导入该包,主文件的相对路径变为了:这一级的路径/../lib。

2024-06-19 17:08:57 139

原创 eval的用法

evaleval。

2024-06-19 16:04:18 179

原创 数据增强 cutout改进imbalance

per_cls_weights = torch.FloatTensor(per_cls_weights).to(torch.device('cpu')) # 假设我们在 CPU 上运行# 计算 n_holes 的数量n_holes = 1 + int(per_cls_weights[label] * 3) # 确保 n_holes 在 1 到 4 之间# 保存每个类别的 n_holes 数量。

2024-06-16 22:10:53 347

原创 Linux 服务器 CUDA两版本

如果报错的命令是RuntimeError,那就使用nvcc -V命令查看是否是版本不匹配。pytorch, cudadnn等要求的cuda版本都是指cuda toolkit的版本。为11.4,nvcc -V命令查看CUDA版本为11.1。以nvcc -V版本为准。nvidia-smi 显示的版本是驱动的版本,是原先在容器里已经装好的。版本小于等于驱动版本都可以正常使用。由于驱动版本是向下兼容的, 因此。而nvcc -V 显示的版本是。的版本,是需要我们去安装的。CUDA有两个CUDA版本。

2024-06-13 16:06:33 367

原创 M2m中的采样

对于少数类的样本来说,即使它们在数据集中的绝对数量不多,也可以通过这种方式增加它们在每个训练批次中出现的次数,从而让模型更频繁地从这些少数类样本学习。这个过程虽然看起来是通过权重调整样本的选取概率,但实际上,通过这种方式也可以达到过采样的效果,尤其是当设置。这样,通过调整这些权重,我们可以控制模型在训练过程中看到的每个类别样本的频率,实现对类别不平衡的处理。不会直接导致过采样,但可以用来确保每个类别在数据批次中都有均等的代表性,从而帮助模型学习到更平衡的特征。在数据加载过程中,每个类别的样本将根据其在。

2024-05-27 16:21:01 237

原创 延迟重平衡优化(Deferred Re-balancing Optimization Schedule)

160epoch之前,每一类的权重是1;160epoch之后,每一类的权重经过带β公式计算的,更偏重与少数类的样本。

2024-05-27 11:41:34 192

原创 结果不能复现的原因 GPU cudnn cudnn.benchmark = True

在定义模型时,如果没有特定的GPU设置,会使用将模型并行化,充分利用多GPU的性能,这在加速训练上有显著影响。

2024-05-27 09:32:56 283

原创 关于Balanced-MixUp是自定义的交叉熵损失函数

【代码】关于Balanced-MixUp是自定义的交叉熵损失函数。

2024-05-25 09:55:53 269

原创 不平衡数据研究:分配权重 合并2个loader

【代码】不平衡数据研究:分配权重。

2024-05-24 16:25:48 331

原创 模型的定义与创建 init forward

这段代码定义了一个定制化的 ResNet 架构,包括对权重初始化、网络层的定义和前向传播的实现。

2024-05-22 21:12:49 240

原创 ones

【代码】ones。

2024-05-22 15:17:21 108

原创 池化

池化(Pooling)是卷积神经网络(CNN)中一个重要的操作,主要用于(feature maps)的维度,提高网络的抽象能力,同时减少计算量和防止过拟合。

2024-05-20 21:53:26 430

原创 数据不平衡:使用其他机器学习方案,修改算法

神经网络在面对不均衡数据时,是束手无策的。有些机器学习方法,像决策树就不会受到不均衡数据的影响。

2024-05-14 17:09:49 173

yolov5-helmet-coco128

yolov5-helmet-coco128

2023-11-25

手写体识别(神经网络全连接模型)

手写体识别要用到的数据集,推测数字的源代码,以及查看数据集要用到的源代码

2022-11-07

跟着峰哥学计算机视觉所有需要用到的图片

跟着峰哥学计算机视觉所有需要用到的图片,内容非常丰富

2022-11-02

"Linus.png"的链接,第一次计算机图像识别处理的图片

用于计算机图像处理的图片,这是我的博客号“pythonSuperman”

2022-11-02

泰坦尼克号训练数据集,分析各种因素对泰坦尼克号乘客生存率的影响程度

passengerid: 乘客 ID class: 舱位等级 (1 = 1st, 2 = 2nd, 3 = 3rd)** name: 乘客姓名 sex: 性别 age: 年龄 sibsp: 在船上的兄弟姐妹/配偶个数 parch: 在船上的父母/小孩个数 ticket: 船票信息 fare: 票价 cabin: 客舱 embarked: 登船港口 (C = Cherbourg, Q = Queenstown, S = Southampton) survived: 变量预测为值 0 或 1(这里 1 表示幸存,0 表示遇难)

2022-10-03

泰坦尼克号测试数据集,分析各种因素对泰坦尼克号乘客生存率的影响程度

passengerid: 乘客 ID class: 舱位等级 (1 = 1st, 2 = 2nd, 3 = 3rd)** name: 乘客姓名 sex: 性别 age: 年龄 sibsp: 在船上的兄弟姐妹/配偶个数 parch: 在船上的父母/小孩个数 ticket: 船票信息 fare: 票价 cabin: 客舱 embarked: 登船港口 (C = Cherbourg, Q = Queenstown, S = Southampton) survived: 变量预测为值 0 或 1(这里 1 表示幸存,0 表示遇难)

2022-10-03

数据集——portein.txt

txt文件——用制表符做为分隔符的txt文件,文件名为protein.txt。数据内容主要 描述的是欧洲蛋白质消费数据(Protein Consumption in Europe)。 Protein数据集给出了欧洲25个国家对9类食物的消费数据,由25行10列构成 每一行记录代表的是一个国家的蛋白质消费数据;

2022-09-27

women数据集,在数据集women的基础上,以身高为自变量,而体重为因变量进行线性回归分析

在数据集women的基础上,以身高为自变量,而体重为因变量进行线性回归分析

2022-09-27

基于Python的数据可视化实践,文件类型为csv文件,内容为数据集为Salaries

数据集Salaries——记录了2008年度连续9个月397名美国高校老师(教授/副教授/助 理教授)的工资信息,包含以下6个属性: rank(职称): AssocProf(副教授)、 AsstProf(助理教授)、 Prof(教授); discipline(学科):A为理论类;B为应用类; yrs.since.phd:自获得博士学位之后的年数; yrs.service:工龄; sex:性别; salary:九个月的平均工资,单位为美元。

2022-09-26

空空如也

TA创建的收藏夹 TA关注的收藏夹

TA关注的人

提示
确定要删除当前文章?
取消 删除