JennnyZhang-CSDN博客

原创 LDM: High-Resolution Image Synthesis with Latent Diffusion Models CVPR 2022

通过将图像形成过程分解为降噪自编码器的顺序应用，扩散模型(DMs)在图像数据和其他数据上实现了最先进的合成结果。此外，它们的形成过程允许引导机制来控制图像生成过程而无需再训练。然而，由于这些模型通常直接在像素空间中操作，优化功能强大的DM通常会消耗数百个GPU数天，而且由于顺序计算，推理也非常昂贵。为了在有限的计算资源上进行DM的训练，同时保持其质量和灵活性，本文将其应用于预训练的自编码器的潜在空间。

2024-09-11 13:31:30 999

原创 SRDiff: Single image super-resolution with diffusion probabilistic models 2022 Neurocomputing

此外，理论和性能都表明，我们的方法能够分别解决面向 PSNR 的方法、GAN 驱动方法和基于流的方法中出现的过度平滑、模式崩溃和大量占用问题。因此，文章提出了一种新颖的扩散概率模型（SRDiff），旨在通过逐步将高斯噪声转化为超分辨率图像，从而生成多样且高质量的超分辨率结果，同时保持较小的模型规模和高效的训练过程。：在每个步骤中，条件噪声预测器使用当前的潜在变量、扩散时间步和通过LR编码器生成的隐藏条件，以生成更准确的输出。：GAN驱动的方法容易陷入模式崩溃，生成的图像缺乏多样性，无法覆盖所有可能的结果。

2024-09-06 17:14:13 801

原创 DIFFUSION 系列笔记| Latent Diffusion Model、Stable Diffusion基础概念、数学原理、代码分析、案例展示

为了在有限的计算资源上训练它们，LDM 先使用一个预训练好的 AutoEncoder，将图片像素转换到了维度较小的 latent space 上，而后再进行传统的扩散模型推理与优化。Diffusers 中，SD 采用 Lora 的部分位于 Unet 当中，大部分的 Lora 在 Transformer 模块当中，SD 的 lora 与 NLP Lora 实现方式基本相同，此外，通过引入交叉注意力，使得 DMs 能够在条件生成上有不错的效果，包括如文字生成图片，inpainting 等。

2024-08-29 17:03:43 1323

原创生成式AI扩散模型-Diffusion Model【李宏毅2023】概念讲解、原理剖析笔记

Diffusion和DALL采用的Decoder是Latent Representation，之前在讲Diffussion Model的时候，nosie是加到图片上面的，而现在我们的Framework里面扩散模型产生的是中间产物，他可能不是图片了，所以我们在diffusion process这一部分，为什么不直接生成一个带噪音的猫？通过一步步的加噪声，得到最终的噪音图，而每一步的step x 就代表在训练过程的第二个输入，每一步得到的加了噪音的图，就是训练过程的第一个输入（相当于反向过来看）

2024-08-28 20:48:28 990

原创遥感领域remote sensing数据集整理-Super resolution超分辨率任务PAN数据集、多光谱数据集、常见遥感数据集汇总梳理

类场景图像，密林、疏林、草原、港口、高层建筑、低层建筑、立交桥、铁路、居民区、道路、储罐。类，飞机、舰船、油罐、棒球场、网球场、篮球场、田径场、港口、桥梁和汽车。系列商业遥感卫星提供的高分辨率多光谱和全色影像数据。草地、森林、农田、停车场、住宅区、工业区和河湖。商业高分辨率遥感卫星提供的全色和多光谱影像数据。商业高分辨率遥感卫星提供的全色和多光谱影像数据。高分辨率多光谱成像卫星的全色和多光谱影像数据。高分辨率测绘型遥感卫星的全色和多光谱影像数据。高分辨率遥感卫星的全色和多光谱影像数据。

2024-08-26 19:52:07 818

原创遥感领域Remote sensing调研-使用diffusion做super resolution超分论文CVPR、ECCV等整理合集

TitlePaperCodeConference2024 CVPR2024 CVPR2024 CVPR2024 CVPR2024 CVPR2024 CVPR√2024 CVPR2024 TGRS2024 CVPRISPRS。

2024-08-26 19:50:25 879

原创（2-论文精读、代码分析）Restormer: Efficient Transformer for High-Resolution Image Restoration CVPR2022

这个论文的主要想法是将 Transformer 模型应用到图像修复中，不过和一般的VIT模型不同的是，没有使用patch 级的特征进行 token 建模，可以理解为每个像素就是一个 token。Transformer block 主要包括两部分：一部分是self-attention 的计算，另一部分是 FFN 部分。作者也很自然的想到了改进这两个部分，提出了两个模块，分别是：Multi-Dconv Head Transposed Attention，主要改进 self-attention 部分。

2024-07-28 20:18:06 1098 2

原创（最全最小白易懂版）Yolov8新手教程-配置环境、数据集处理、目标检测、结果分析处理（图像指标、可视化结果）、报错分析等全过程学习记录

我用的是VsCode，全程在安装ultralytics包的过程中出了一点小问题（注意神秘的力量，安装的时候不要开，否则一直会报SSL Error），总共花了大约两小时完成了全部配置+demo测试（bus和自己用了一张图）Anaconda-HTTP Error、SSLErro怎么解决【5种方法综合试验后最强版解决方案】

2024-07-26 21:10:51 1255

原创（1-复现使用手册）Restormer: Efficient Transformer for High-Resolution Image Restoration CVPR2022

记得修改对应的路径哈~，比如我的就会这么改，不然就会安到默认路径（比如我的是home/ ）Go 的可执行文件目录添加到系统 PATH 变量中了。后面三个指令就是解压并安装 Go。不想上面这么麻烦的话，直接下载呗。文件会被下载到当前工作目录下。

2024-07-26 20:42:39 646

原创 Modality Translation for Object Detection Adaptation Without Forgetting Prior Knowledge CVPR2024

图1(b)展示了使用无监督的图像翻译方法FastCUT将红外(IR)图像作为输入，并转换成伪RGB图像。这种方法关注于图像重建质量,而不是最终的检测性能。图1(c)展示了直接fine-tuning预训练的检测模型到IR图像上。虽然可以适应新的模态，并且只需要红外数据，但会造成catastrophic forgetting,即模型遗忘了之前在RGB图像上学习的知识。图1(d)展示了论文提出的ModTr方法，将重点放在检测上，它通过一个小型转换网络将IR图像翻译到适合预训练检测模型的特征空间。

2024-07-25 16:50:45 945

原创（最最最全）远程服务器连接新手教程-服务器基本指令、连接服务器、安装Anaconda、配置Conda、配置环境、bashrc环境变量修改（为空怎么办）

然后我的整个文件夹就被删除了？问题：xshell和vscode（连远程服务器）中执行conda指令一直显示 “conda：未找到指令”所以要在服务器重新安装Anaconda，就要先去官网下载Anaconda。正确的解决方案：在远程服务器中重新安装Anaconda和配置相应环境。选择python3.12 第一个选项，然后等着下载。下载好后将文件上传到远程服务器中（用xshell）错误的让人疯狂的解决方案：如下图们所示。记得修改一下对应路径哦。df ：查看当前内存。上面一样的过程，然后。

2024-07-24 20:29:41 1151

原创 Anaconda-HTTP Error、SSLErro怎么解决【5种方法综合试验后最强版解决方案】

链接如上，直接把配置文件的内容完整的替换！【下图所示是2024.7.18的官网信息】这个信息会随时更替的，所以不要照我的改，直接去官网copy！然后就解决啦~这个破问题耽误了我两三天的时间，试遍了网上的各种方法，还是我总结的这个方法是万能的。然后不要信那些GPT们瞎说的，他们说的方法我都试了一遍，什么禁用SSL啊，更新Conda啊，等等很多方法根本都不管用，纯纯帮倒忙！这里特别说一下：很多CSDN博客都会直接给你信息让你替换，但我试了一圈都不行，所以最有效的方法！

2024-07-18 13:37:04 286

原创 GLEAN: Generative Latent Bank for Large-Factor lmage Super-Resolution CVPR 2021/IEEE TPAMI 2023 含代码

Generative Adversarial Network (GAN) 已在超分辨率任务中被广泛使用，其目的是丰富复原图像中的纹理细节。现有方法一般可以分为两种:1）第一种方法（如 ESRGAN [1]）训练生成器以处理放大任务，其中通过使用鉴别器将真实图像与生成器生成的放大图像区分开来进行对抗训练。在这种设置下，生成器既负责捕获自然图像特征，又负责保持对 GT 的保真度。这不可避免地限制了逼近自然图像流形的能力。因此, 这些方法经常产生伪像和不自然的纹理。

2024-07-03 20:09:06 997

原创 SwinIR: Image Restoration Using Swin Transformer（ICCV 2021）含代码复现

在图像超分辨率、图像去噪、压缩等图像修复（Image restoration）任务中，目前仍然是主流。但卷积神经网络有以下缺陷：（1）是与内容无关的；（2）在局部处理的原则下，卷积对于建模是无效的。作为卷积的一个替代操作，Transformer设计了来捕捉全局信息，但视觉Transformer因为需要划分patch，因此具有以下两个缺点：（1）边界像素进行图像恢复；（2）恢复后的图像可能会在每个patch周围，这个问题能够通过patch overlapping缓解，但会增加计算量。

2024-07-03 16:42:53 914

原创《Boosting Object Detection with Zero-Shot Day-Night Domain Adaptation》2024CVPR

它是用于衡量预测值与真实值之间差异的一种常见的评估指标。Rl和Rn为什么可以互换：反射分量r和照明分量i相乘可以得到原图像img这是retinex的理论，而反射分量仅和物体的摆放以及物体本身的物理特性没关系，即使光照是好是坏，同一场景反射分量r都应该是相同的。实施域不变特征需要充分理解数据的特点和域间的差异，并选择合适的方法来处理域变化带来的挑战，从而提高模型的性能和泛化能力。weight设置的太多了，而且两个weight都直接设置了定值，另两个权重估计也是自己调的（直接调的效果其实是最好最便捷的）

2024-05-10 11:27:54 608 1

原创 Rethinking Transformers Pre-training for Multi-Spectral Satellite Imagery （2024CVPR）

无监督学习的最新进展表明，通过对大量未标记数据进行预训练，大型视觉模型能够在下游任务上取得有希望的结果。由于大量未标记数据的可用性，这种预训练技术最近也在遥感领域进行了探索。与标准的自然图像数据集不同，遥感数据是通过各种传感器技术获取的，并且表现出不同范围的尺度变化和模式。现有的卫星图像预训练方法要么忽略遥感图像中存在的尺度信息，要么限制自己只使用单一类型的数据模式。在本文中，我们重新访问变压器预训练和利用多尺度信息，有效地利用了多种模式。我们提出的方法，名为SatMAE++，

2024-04-29 20:36:38 830

原创 54 循环神经网络 RNN【动手学深度学习v2】

循环神经网络 RNN基础知识

2024-04-24 10:38:43 252

原创 53 语言模型【动手学深度学习v2】

https://www.bilibili.com/read/cv17622666/?jump_opus=1https://www.bilibili.com/read/cv17622666/?jump_opus=1

2024-04-23 16:42:36 452

原创 52 文本预处理【动手学深度学习v2】

建立一个词表，将拆分的词元映射到数字索引;将文本转换为数字索引序列，方便模型操作。将字符串拆分为词元（如单词和字符）。将文本作为字符串加载到内存中。

2024-04-22 21:53:06 540

原创 51 序列模型【动手学深度学习v2】

介绍了序列模型，主要讨论了RNN和NLP在处理序列数据中的应用。视频提到了时间信息对模型的影响，以及数据序列的常见特征和应用场景。视频还介绍了序列数据的建模方法，包括使用马尔科夫假设和MLP模型。最后，视频提到了潜变量模型的应用。通过这个视频，可以了解到序列模型的基本概念和应用。

2024-04-10 12:04:14 290

原创 49 样式迁移【李沐动手学深度学习v2课程笔记】

因为合成图片是样式迁移所需迭代的模型参数，所以只能在训练的过程中抽取合成图片的内容特征和样式特征。合成图片保留了内容图片的内容，并同时迁移了样式图片的样式。

2024-04-09 17:48:45 997

原创 48 全连接卷积神经网络 FCN【动手学深度学习v2】

如下图所示，全卷积网络先使用卷积神经网络抽取图像特征，然后通过1×1卷积层将通道数变换为类别个数，最后通过转置卷积层将特征图的高和宽变换为输入图像的尺寸。因此，模型输出与输入图像的高和宽相同，且最终输出通道包含了该空间位置像素的类别预测。出于对训练速度的考虑，本节网络中的1*1卷积层，将7*7*512的数据结构直接压缩到了7*7*class_num，造成了较大的信息损失，若要对预测效果进行进一步优化的话可以调节这一层。全连接卷积神经网络：神经网络处理语义分割问题的奠基性工作，目前已不太常用。

2024-04-09 17:26:51 494

原创 47 转置卷积【李沐动手学深度学习v2课程笔记】

卷积层和汇聚层通常会减少下采样输入图像的空间维度（高和宽），卷积通常来说不会增大输入的高和宽，要么保持高和宽不变，要么会将高宽减半，很少会有卷积将高宽变大的。如果输入和输出图像的空间维度相同，会便于以像素级分类的语义分割：输出像素所处的通道维可以保有输入像素在同一位置上的分类结果（为实现输入和输出的空间维度的一致，在空间维度被卷积神经网络层缩小后，可以使用转置卷积增加上采样中间层特征图的空间维度）需要注意的是，转置卷积的使用需要根据具体的任务和网络架构进行调整，包括选择合适的参数和结合其他操作。

2024-04-09 17:10:06 435

原创 46 语义分割和数据集【李沐动手学深度学习v2课程笔记】

由于语义分割的输入图像和标签在像素上一一对应，输入图像会被随机裁剪为固定尺寸而不是缩放。语义分割通过将图像划分为属于不同语义类别的区域，来识别并理解图像中像素级别的内容。语义分割的一个重要的数据集叫做Pascal VOC2012。13.9. 语义分割和数据集。

2024-04-09 16:21:11 378

原创《InfMAE: A Foundation Model in Infrared Modality》CVPR2024

整体架构差不多，不一样的地方值得研究，就可以考虑A+B。2. 利用跨模态的基础模型去做我们领域的基础研究。3. 每天泛读3-5篇文献，精读1篇获取经验。以后的研究中必须把大模型和基础模型耦合进来。

2024-03-21 19:59:15 273

原创 44 物体检测算法：R-CNN，SSD，YOLO【李沐动手学深度学习v2课程笔记】

对每个像素生成多个以它为中心的多个锚框上图中绿色的点表示 SSD从图中可以看出，SSD 相对于Faster RCNN 来讲速度快很多，但是精度不是太好SSD 的实现相对来讲比较简单，R-CNN 系列代码的实现非常困难。

2024-03-20 18:06:09 1133

原创 41 物体检测和目标检测数据集【李沐动手学深度学习v2课程笔记】

我们使用输入图像在某个感受野区域内的信息，来预测输入图像上与该区域位置相近的锚框类别和偏移量。目标检测不仅可以识别图像中所有感兴趣的物体，还能识别它们的位置，该位置通常由矩形边界框表示。我们可以在两种常用的边界框表示（中间，宽度，高度）和（左上，右下）坐标之间进行转换。我们可以通过深入学习，在多个层次上的图像分层表示进行多尺度目标检测。通过定义特征图的形状，我们可以决定任何图像上均匀采样的锚框的中心。在多个尺度下，我们可以生成不同尺寸的锚框来检测不同尺寸的目标。

2024-03-20 17:17:51 444

原创 37 微调（迁移学习）【动手学深度学习v2】（备注：这一节非常重要）

前面的一些章节介绍了如何在只有6万张图像的Fashion-MNIST训练数据集上训练模型。我们还描述了学术界当下使用最广泛的大规模图像数据集ImageNet，它有超过1000万的图像和1000类的物体。然而，我们平常接触到的数据集的规模通常在这两者之间。假如我们想识别图片中不同类型的椅子，然后向用户推荐购买链接。一种可能的方法是首先识别100把普通椅子，为每把椅子拍摄1000张不同角度的图像，然后在收集的图像数据集上训练一个分类模型。

2024-03-20 11:26:06 807

原创最好用的软件安装教程合集（Matlab\ Anaconda\Pytorch..)

http://t.csdnimg.cn/dQ0Qwhttp://t.csdnimg.cn/dQ0Qwhttps://blog.csdn.net/fan18317517352/article/details/123035625https://blog.csdn.net/fan18317517352/article/details/123035625https://blog.csdn.net/weixin_44752340/article/details/130542629https://blog.csdn.n

2024-03-19 13:43:32 464

原创《Positive-incentive Noise》IEEE Transactions on Neural Networks and Learnin S stems,论文精读

本文对噪声是否总是产生负面影响进行了反思。这种怀疑来自于对噪音的松散定义。通过对任务T和噪声的互信息建模，将传统的“噪声”分为π噪声和纯噪声两类。简而言之，π噪声是一种可以简化目标任务的随机信号。通过一些令人信服的实验，并表明一些已有的课题(如随机共振、多任务学习、对抗训练)可以作为特例来解释，我们从经验和理论上得出π噪声在各个领域都是普遍存在的结论。π噪声的一般性质、π噪声量的上界、π噪声在一般条件下的存在性、π噪声模型设计的新原则等仍有许多值得深入研究的问题。重要的是，π噪声也与信息容量的研究有关。这

2024-03-17 20:28:43 944

原创 36 数据增广【李沐动手学深度学习v2课程笔记】

在下面的示例中，我们随机更改图像的亮度，随机值为原始图像的50%（1−0.5）到150%（1+0.5）之间。为了在预测过程中得到确切的结果，我们通常对训练样本只进行图像增广，且在预测过程中不使用随机操作的图像增广。该函数获取所有的GPU，并使用Adam作为训练的优化算法，将图像增广应用于训练集，最后调用刚刚定义的用于训练和评估模型的。为了在预测过程中得到确切的结果，我们通常对训练样本只进行图像增广，而在预测过程中不使用带随机操作的图像增广。在我们使用的示例图像中，猫位于图像的中间，但并非所有图像都是这样。

2024-03-12 16:25:25 920 1

原创 29.2 ResNet为什么能训练出1000层的模型【李沐动手学深度学习v2课程笔记】

从梯度大小的角度来解释，residual connection 使得靠近数据的层的权重 w 也能够获得比较大的梯度，因此，不管网络有多深，下面的层都是可以拿到足够大的梯度，使得网络能够比较高效地更新。靠近数据端的权重 w 难以训练，但是由于加入了跨层数据通路，所以在计算梯度的时候，上层的loss可以通过跨层连接通路直接快速地传递给下层，所以在一开始，下面的层也能够拿到比较大的梯度。将乘法运算变成加法运算（ResNet就是这么做的，特别是残差连接（Residual Connection））

2024-03-12 11:22:14 376

原创 29 残差网络 ResNet【李沐动手学深度学习v2课程笔记】

ResNet沿用了VGG完整的3×3卷积层设计。残差块里首先有2个有相同输出通道数的3×3卷积层。每个卷积层后接一个批量规范化层和ReLU激活函数。然后我们通过跨层数据通路，跳过这2个卷积运算，将输入直接加在最后的ReLU激活函数前。这样的设计要求2个卷积层的输出与输入形状一样，从而使它们可以相加。3x3卷积层-批量规范化层-ReLU激活函数3x3卷积层-批量规范化层-ReLU激活函数如果想改变通道数，就需要引入一个额外的1×1卷积层来将输入变换成需要的形状后再做相加运算。

2024-03-12 11:16:57 485

原创 28 批量归一化【李沐动手学深度学习v2课程笔记】（备注：这一节讲的很迷惑，很乱）

下面，我们从头开始实现一个具有张量的批量规范化层# 通过is_grad_enabled来判断当前模式是训练模式还是预测模式# 如果是在预测模式下，直接使用传入的移动平均所得的均值和方差else:# 使用全连接层的情况，计算特征维上的均值和方差else:# 使用二维卷积层的情况，计算通道维上（axis=1）的均值和方差。# 这里我们需要保持X的形状以便后面可以做广播运算# 训练模式下，用当前的均值和方差做标准化# 更新移动平均的均值和方差。

2024-03-11 17:21:45 907

原创 27 含并行连结的网络 GoogLeNet / Inception V3【李沐动手学深度学习v2】

白色框：用来改变通道数蓝色框：用来抽取信息。GoogLeNet模型的计算复杂，而且不如VGG那样便于修改通道数。为了使Fashion-MNIST上的训练短小的通道数分配和第三模块中的类似，首先是含3×3卷积层的第二条路径输出最多通道，其次是仅含1×1卷积精悍，第五模块包含输出通道数为256+320+128+128=832和384+384+128+128=1024的两个Inception块。其中每条路径通道数的分配思路和第三、第四模块中的一致，只是在具体数值上有所不同。需要注意的是，第五模块的后面紧跟输

2024-03-11 11:36:06 727

空空如也

空空如也