- 博客(17)
- 收藏
- 关注
RSS订阅原创 图像融合常见损失函数总结
用于衡量两幅图像之间的结构相似性，比MSE和MAE更能反映图像的感知质量。：用于减少融合图像中的噪声和伪影，增强图像的平滑性。通过惩罚图像梯度的大变化，能够有效地减少图像中的不连续性和噪声。：用于保持源图像中的边缘信息，确保融合图像中的边缘与源图像相似。作用：用于衡量源图像和融合图像之间的平均平方差异，强调较大的误差。：用于衡量源图像和融合图像之间的平均绝对差异，对异常值不敏感，能平滑地反映误差。分别是源图像和融合图像在位置 (𝑖,𝑗) 处的梯度。是融合图像的像素值，N 是图像的像素总数。
2024-06-28 20:51:20
296
原创 A general image fusion framework using multi-task semi-supervised learning学习-迁移学习？？？
2.所谓半监督：即用大量未标注数据和少量标注数据进行训练。论文先用少量标注曝光和未曝光的图片训练模型，在此基础上，保留encoder和decoder，添加医学和红外可见光的未标注的数据集继续训练，获得融合层参数。2.encoder和decoder中使用Swin-Cnn结构提取局部和全局特征。1.编码器解码器中PSLPT采用金字塔结构如图c，编码器提取的特征也是分为高频信息和低频信息。段2：半监督学习，保留1阶段的编码器和解码器的参数，在二阶段使用。4.网络结构：2个编码器1个解码器 1个融合模块。
2024-06-24 22:23:57
212
原创 深度学习之MLP层
`self.fc2 = nn.Linear(hidden_dim1, hidden_dim2)`：定义第二个全连接层，将维度从 `hidden_dim1` 转换为 `hidden_dim2`。- `self.fc3 = nn.Linear(hidden_dim2, output_dim)`：定义输出层，将维度从 `hidden_dim2` 转换为 `output_dim`。- 隐藏层：两个隐藏层，大小分别为 `hidden_dim1` 和 `hidden_dim2`
2024-06-20 09:35:55
228
原创 深度学习之卷积总结
在深度卷积中，每个输入通道独立地与一个卷积核进行卷积，而不是像普通卷积那样所有输入通道与一个卷积核进行卷积。通过指定 `groups=hidden_dim`，这行代码实现了深度卷积操作，每个输入通道都有一个对应的卷积核。在这个示例中，输入特征图的通道数为 32，使用一个 3x3 的深度卷积层进行卷积操作。由于 `groups=32`，每个输入通道都有一个对应的卷积核，输出特征图的通道数仍然是 32，特征图的大小保持不变。深度卷积的参数数量：`hidden_dim * 3 * 3`### 深度卷积的计算。
2024-06-18 20:49:25
305
原创 c++多线程编程
2.线程函数中的数据未定义错误-陈子青的编程学习课堂 (seestudy.cn)解决方案： 利用std::ref 传递引用类型。
2024-04-05 21:42:41
970
1
原创 TCP,UDP通信协议学习
TCP主要有三个步骤实现可靠输入：1. 三次握手建立可靠连接，实现端到端的通信，底层保证数据成功传给服务端，2. 传输数据进行确认，3.四次挥手断开连接。特点：无连接、不可靠通讯。（通讯双方没有提前建立连接，发送方不能保证信息成功发送给接收方，接收方接收到数据也不返回确认，故不可靠）数据按照包发送。TCP的最终目的：保证在不可靠的信道上实现可靠的输入。可靠连接：确定通讯双方，收到消息都是正常无问题的。应用场景：网页、文件下载、支付等等。TCP协议： 四次握手断开连接。特点：面向连接、可靠通讯。
2024-04-04 13:06:08
218
1
原创 各种损失函数总结
分别表示两个张量中的第 i 个元素。均方误差损失越小，表示模型预测结果与目标值之间的差距越小，因此通常用于回归问题的损失函数。其中，n 表示张量中元素的数量，MSELoss：均方误差损失函数。
2024-03-07 15:43:37
172
原创 红外与可见光图像融合论文心得（六）--CDDFuse（将图片分为高频信息与低频信息进行处理）
CDDFuse包含四个模块，即用于特征提取和分解的双分支编码器，用于重建原始图像(在训练阶段I)或生成融合图像(在训练阶段II)的解码器，以及用于融合不同频率特征的基/细节融合层。中，我们将INN模块改为INN块中具有相似参数的BRBS组成的CNN模块，其效果略差于单独使用LT模块，这证明了使用CNN完成融合任务时信息丢失严重。结果表明，虽然LT块的特征提取能力略强于INN块，但低于与LT和INN块协同工作的CDDFuse。表示V中的纹理和细节信息，表示I中的热辐射和清晰边缘信息，这些信息是模态特定的。
2024-01-12 16:39:16
1321
3
原创 红外与可见光图像融合论文心得（五）--FusionGRAM（一个完全卷积的模型，没有单独的融合层，可以实现端到端的训练和图像融合）
1)端到端模型:本研究提出了一种红外和可见光图像融合框架FusionGRAM，该框架可以自适应学习不同模态的特征。2)特征增强:本研究提出了使用带有注意模块的来提取不同模态的特征。得到的特征映射集中在源图像的关键信息上，提供了比融合结果更好的亮度和对比度。在编码器的结构中引入了梯度残差。对源图像的细节特征进行补偿，从而增强融合结果的纹理细节信息。3)设计良好的损失函数:将最大强度和最优梯度损失作为损失函数来训练网络，并使用超参数来调整两者的比值。
2024-01-07 21:39:20
925
3
原创 图像融合中常见评估参数
为A和B的协方差，C1和C2分别为图像A和图像B的常数。结构相似度指数是评价图像A和图像B相似度的指标，主要研究图像结构信息的变化与图像感知失真之间的关系。峰值信噪比主要评价图像的有效信息与噪声的比值，可以反映图像失真程度，反映融合后图像的质量。均方误差反映了融合图像与参考图像之间的差异，是基于像素误差的图像质量的客观评价指标。互信息是衡量图像A和图像B灰度分布相似性的指标，从图像直方图中可以得到灰度分布的概率。为图片的灰度分布，Xi为组合图像中对应灰度级的归一化直方图。分别为图像A和B的平均强度，
2024-01-07 16:26:04
1283
1
原创 红外与可见图像融合论文心得（四）--CrossFuse（一种新的基于交叉注意机制的红外与可见光图像融合方法）
1. 本文引入了一种交叉注意机制来增强多模态特征。所提出的机制通过有效地增加互补特征来优化融合过程，从而使结果更加准确和全面。2. 本研究提出了一种新的混合融合网络，将卷积层的优势与注意机制(自注意机制和交叉注意机制)相结合，用于多模态图像融合。该方法有利于从源图像中提取深度特征，保持细节信息，增强互补信息。3. 实验结果表明，本文提出的方法是当前融合技术的一种有前途的替代方法。它为多模态图像融合任务提供了一种更加鲁棒和高效的解决方案。
2024-01-06 21:42:25
1345
1
原创 红外与可见图像融合论文心得（三）--PIAFusion（一种基于光照感知的渐进式红外和可见光图像融合网络）
提出了一种的红外与可见光图像融合框架，该框架可以通过感知光照情况，全天候融合源图像的有意义信息。2.将相结合，在不同阶段整合互补和共同信息。3.在MFNet数据集的基础上构建了一个新的用于红外和可见光图像融合训练和评估的基准数据集，称为。可以在https://github.com/Linfeng-Tang/MSRS上找到。
2024-01-05 09:10:57
1456
1
原创 红外与可见图像融合论文心得（二）--Meta-learning（不同分辨率的图像融合）
与MUM一样，MDM也以比例因子作为输入，动态预测下尺度滤波器的权重，从而可以任意减小特征映射的大小，而无需重复训练。为了实现该方法可以接受不同分辨率的源图像，并仅使用单一模型生成任意分辨率的融合图像，采用元学习超分辨率的元模块(MUM)作为上采样层。此外，融合图像的对比度应与源图像的对比度呈正相关。对于提取出来的特征图，将更多的注意力放在显著目标或轮廓对应的系数上，有利于显著源信息的保存。上式中第一项用于防止融合后的图像与两源图像的平均值之间存在较大的偏差，第二项用于提高融合后图像的对比度。
2024-01-02 17:06:49
1014
原创 YOLOv8学习（持续更新！！！）
Decoupled Head不仅是模型精度上会提高，同时网络的收敛速度也加快了，使用Decoupled Head的表达能力更好，增强了模型的鲁棒性，可以更好地建模位置和类别之间的关系，提高目标检测性能。耦合头的设计是在网络的末尾，通过一系列的卷积和全连接层，同时预测不同尺度的边界框位置、尺寸和类别。提取分流的思想，同时结合残差结构的思想，设计了C3 Block，CSP主分支梯度模块为BottleNeck模块。同时堆叠的个数由参数n来进行控制，也就是说不同规模的模型，n的值是有变化的。
2023-12-30 11:31:25
520
原创 红外与可见图像融合论文心得（一）--Deepfuse
在我们的实验中，我们观察到，通过增加训练迭代次数，增加C3后的过滤器和层数，特征拼接也可以达到类似的结果。这是可以理解的，因为网络需要更多的迭代来计算合适的融合权重。其次，可学习滤波器的数量减少了一半。也就是说，将图像1的第一个特征图(F11)和图像2的第一个特征图(F21)相加，并将此过程应用于剩余的特征图。将曝光不足和曝光过的图像(Y1和Y2)分别输入到单独的通道(通道1由C11和C21组成，通道2由C12和C22组成)。本工作的贡献如下:•基于CNN的无监督图像融合算法，用于融合曝光堆叠静态图像对。
2023-12-28 09:43:44
411
2
原创 IMU学习（一）----东北天坐标系和北东地坐标系
1）x轴指向北， y轴指向东， z轴指向地2）绕x轴转动，称为roll角绕y轴转动，称为pitch角绕z轴转动，成为yaw角3）对应的IMU载体坐标系是前右下4）欧拉角旋转顺序：z-y-x。
2023-06-27 20:03:36
2009
空空如也
空空如也
TA创建的收藏夹 TA关注的收藏夹
TA关注的人