llf000000的博客

原创 语义分割 one-hot编码

GitHub - luwill/Deep-Learning-Image-Segmentation: Deep Learning Image Segmentation: Theory and Practice

原创 下载Cudnn

2024年4月更新博文：cuDNN已经被集成在Pytorch中，无需单独安装，但是如果需要从源码编译就还是需要安装cuDNN

原创 在 语义分割 和 图像分类 任务中，image、label 和 output 的形状会有所不同。

图像分类 (Image Classification)

原创 语义分割的image

Image是一个 4D 张量，形状为。在本例中，，每个图像是3x3的大小，且有 3 个颜色通道（RGB）。张量的每个值表示该像素在特定颜色通道中的强度，值的范围通常是[0, 1]，表示颜色的亮度或饱和度。红色通道的数值越接近 1，表示红色成分越强，但整体颜色也受到其他通道（绿色和蓝色）的影响。

原创 HSV颜色空间

（Hue, Saturation, Value）是一种常用的颜色表示方式，常用于图像处理和计算机视觉中。色调表示颜色的种类，即我们所说的“色彩”。它的值通常在 0 到 360 度之间，代表不同的颜色：0° 是红色，120° 是绿色，240° 是蓝色。其他颜色值则在这些基本颜色之间插值（例如 60° 为黄色，180° 为青色，300° 为紫色等）。色调是一个角度值，定义了色彩的本质。饱和度表示颜色的纯度或强度，值从 0 到 1。当 S = 0 时，颜色是灰色，即没有色彩；

原创 使用latex遇见编译错误，应该删除的文件

【代码】使用latex遇见编译错误，应该删除的文件。

原创 消融实验_草稿

【代码】消融实验_草稿。

原创 Correlation Matrix of Model Logits

你有一个模型（无论是 teacher 还是 student），在测试集中预测了很多图像（比如 N=1000 张），每张图输出。：说明 student 的理解方式和 teacher 不一致，可能产生歧义、结构偏移。类别 0（黑头） 和 类别 1（粉刺）有高相关性，说明模型认为它们容易混淆；类别 0 和 类别 3（脓疱）无相关，说明它们形态差异大，模型容易分开。在所有图像中，第 i 类和第 j 类的打分，是否同步升高、降低。“你有没有模仿到老师对不同类别之间的理解方式？

原创 embeddings

是一种将数据从原始空间映射到低维向量空间的表示方法。这些低维向量通常能够捕捉数据的重要特征和语义信息，同时减少数据的维度，便于模型处理和学习。

原创 赋予远程服务器里的指定文件夹权限

【代码】赋予远程服务器里的指定文件夹权限。

原创 本地电脑终端用命令的形式将png图片转为eps图片的方法

打开图片所在的cmd窗口路径。

原创 Linux——让程序在后台运行 &

【代码】Linux——让程序在后台运行 &

原创 ISIC2017 数据集读取

【代码】ISIC2017 数据集读取。

原创 dermamnist官方读取代码

【代码】dermamnist官方读取代码。

原创 Scale Decoupled Distillation 论文中SPP发生了什么

SPP。

原创 本地装了个pytorch cuda

【代码】本地装了个pytorch cuda。

原创 Zotero 如何实现数据同步 坚果云

如何在Zotero中设置webdav连接到坚果云？ | 坚果云帮助中心

原创 markdown里粘贴图片的同时保存路径 在vscode里实现

下载扩展Markdown Image。

原创 SAD相关可运行代码

是为了将二维特征图展平为一维，以便在整个特征图上应用softmax，计算每个位置的注意力值。是为了在softmax之后将展平的特征图重新恢复为原始的二维形状，以便后续操作继续使用原始的空间结构。

原创 DRW的公式推导及代码解析

在第 77 个 epoch 时，模型可能已经充分学习到了数据中的特征，尤其是在使用 BKD 的情况下，模型不仅能够学到头部类别的泛化特征，还能够有效提升尾部类别的表现。：Acne04 数据集的规模较小，类别不平衡的情况可能并没有特别严重，因此即使没有采用更复杂的有效样本计算，类平衡蒸馏就能够取得显著的性能提升。：BKD 蒸馏过程中使用的温度参数 TTT 可能在此时已经使得教师模型的软标签足够平滑，进一步帮助学生模型更好地学习尾部类别的特征，而无需通过有效样本策略来调整每类的权重分布。

原创 BCE损失解析

:, None]的作用是将 1D 张量转换为 2D 张量，以便进行广播，使得我们可以在元素级别上进行逐行相除的操作。它通过增加一个维度来确保张量形状匹配。

原创 交叉熵函数与kl散度的区别

教师模型的输出概率分布用来指导学生模型的训练，但直接使用教师模型的概率分布往往过于“尖锐”（即，教师模型的 softmax 输出大部分概率集中在正确类别）。温度调节可以让模型的预测分布更加平滑，从而在蒸馏过程中更有效地传递知识。下面将解释为什么 KL 散度与温度结合，以及如何使用温度参数。在知识蒸馏中，通过引入较高的温度 TTT，可以让教师模型输出的概率分布变得更加平滑，从而包含更多类的信息，帮助学生模型更好地学习。在知识蒸馏过程中，学生模型通常通过最小化学生模型与教师模型之间的。在深度学习中，尤其是。

原创 把kl散度拆开

原创 adkd

【代码】adkd。

原创 reshape(-1)

的作用是将多维张量变成一维张量，特别是在你有一个二维或更高维度的张量时，可以将它压平为一维。我们通过以下例子展示。

原创 _get_gt_mask、cat_mask、_get_other_mask

【代码】_get_gt_mask、cat_mask、_get_other_mask。

原创 为什么说kl散度包含ce损失

KL散度包含交叉熵损失的原因在于它们的公式结构，KL散度的计算中包含了交叉熵损失部分，加上一个固定的熵项。优化KL散度的过程中，也在优化交叉熵损失。

原创 学习率的选择

不同论文中学习率的差异取决于模型架构、数据集大小、优化器选择、训练阶段（预训练或微调）、任务类型（回归或分类）以及使用的学习率调度策略。通常较大的学习率用于初期的快速探索，而较小的学习率用于精细调整模型权重。在深度学习中，合理选择学习率是模型成功训练的关键因素之一。

原创 mask和class_conf_mask的作用

表示第1、第3和第5类的置信度小于等于阈值，标记为。

原创 读取ISIC2019数据集

【代码】读取ISIC2019数据集。

原创 单独为某个文件夹打开一页vscode窗口

原创 双重求和公式 从特征图到logits

原创 清除VSCode缓存 乱跳转的问题

【代码】清除VSCode缓存 乱跳转的问题。

原创 指定GPU

【代码】指定GPU。

原创 模型初始化的讲究

在模型参数初始化过程中，通常会用到随机数生成器来设置权重（例如使用 Kaiming 初始化）。这些随机数生成器的状态是动态变化的，因此添加或移除任何一个子模块都会影响随机数生成器的状态，导致后续层的权重初始化产生不同的随机数。： 当模型被实例化时，所有子模块（例如卷积层、全连接层、批量归一化层等）会按其在代码中的出现顺序进行初始化。如果你添加或移除了一些子模块（例如注释掉的分支网络），即使这些子模块在。因此，添加或移除子模块会改变模型中各层的初始化顺序，从而影响整个网络的参数初始化。

原创 余弦相似度

【代码】余弦相似度。

原创 CIFAR10-LT DermalMNIST 从dataset到dataloader

【代码】CIFAR10-LT DermalMNIST 从dataset到dataloader。

原创 pytorch 指定GPU设备

这种方法是通过环境变量限制可见的CUDA设备，从而在多个GPU的机器上只让PyTorch看到并使用指定的GPU。这种方式的好处是所有后续的CUDA调用都会使用这个GPU，并且代码中不需要显式地指定设备索引。这种方法是在代码中直接指定要使用的设备索引，无需修改环境变量。这种方式更加显式，并且可以在同一脚本中使用多个不同的GPU。

原创 读取并训练DermalMNIST

由于后续训练和预测用到的标签格式需要是一维数据，而DermaMNIST类读取到的DermaMNIST标签数据是二维数据，所以需要采取措施让标签数据变为一维的。

原创 在 Excel 中的单元格内开始一行新文本

若要在工作表单元格中开始一行新的文本或在文本的行或段之间添加间距，请按 Alt+Enter 插入换行符。按 Alt+Enter 插入换行符。单击所选单元格内想换行的位置。双击要插入换行符的单元格。