- 博客(37)
- 收藏
- 关注
RSS订阅原创 UNet网络在图像去模糊方向的应用
该网络的结构图如下所示，对比和MIMO-UNet网络的异同，可以看出，该网络的不同之处在于解码部分，把原来网络的解码部分重复了4遍，属于改变了模型的结构（思考：不确定有什么太大的效果，但是肯定会增加参数量，期刊水平较低）该网络的网络结构图如下所示，把Transformer和UNet结合在了一起，这是一个很好的想法，很多特征提取网络都是通用的，很多特征加工模块都是通用的，可以从最新的网络中进行借鉴。该网络的网络结构如下图所示，主要的创新点就是更换了残差模块，把常规的残差模块更换为带有傅里叶变换的残差模块。
2024-04-25 12:55:42
904
原创 MIMO-UNet复现，DeepRFT复现及总结
进行这一步的主要原因是：假如当我有这个想法之后，我在别人的网络上更换自己的模块，会碰到哪些问题，更重要的是学习一个调参的过程，事实上，即使你有了很好的想法并成功，实施效果也不一定好，这是个大概率事件，整个过程也确实很大程度上依赖于经验，深度学习也确实有很多不可解释的现象。**最后的总结：**目前的结论是使用带有FFT的残差模块的网络DeepFRT在训练数据上，PSNR会有明显的提高，但是在验证集和MIMO-UNet和更换为残差模块的MIMO-UNet的区别不大，，，至于这个原因也许是超参数不一样吧，，，，
2024-04-24 21:02:26
627
原创 MIMO-UNet的网络结构分析
输出：每个 ResBlock 的输出同样是多通道的特征图，形状与输入相同。输入：对于每个 ResBlock，输入是一组多通道的特征图（张量），通常其形状为 (batch_size, channels, height, width)。连接方式：首先将输入的三个张量在通道维度（dim=1）上进行连接，然后通过包含两个基本卷积层的 nn.Sequential 结构进行处理。连接方式：首先将输入特征图进行元素乘积融合，然后将融合结果与其中一个输入特征图通过一个基本卷积层（merge）结合并相加，得到最终输出。
2024-04-17 22:37:07
772
原创 DeblurGANv2-master文件组成
*Config：**config.yaml是项目的配置文件：包括训练集的路径设置，验证集路径设置，对数据集内图片的处理，数据集增强等；优化器的选择，学习率的设置，学习率的变化设置#Test_metrics.py：评价指标(metric)，用于测试metrics的代码，测试性能和指标，输出单个图片的PSNR或者输出批次的SSIM等，用于测试相关指标。Metric_counter.py：用于记录和统计模型中各种指标的工具类，比如PSNR，SSIM等，主要用于记录和监视关键指标，便于模型性能的评估和调优。
2024-04-13 10:24:31
345
原创 去模糊质量衡量指标SSIM，PSNR和推理时间
所有对于算法的改进都是有一个目标的，比如使得图像的质量更好，又或者处理的速度更快，这些都是用来衡量去模糊算法的好坏程度的指标。在图像处理部分，有两个比。推理时间：指的是图像输入模型到输出模型的运行时间，是衡量算法好坏的重要指标，一般都有达到实时性的要求，只有这样算法才有部署的可能性，才是有意义的！：一种全参考的图像质量评价指标，它分别从亮度、对比度、结构三*方面度量图像相似性。：一种全参考的图像质量评价指标。
2024-03-29 16:19:49
147
原创 Faster RCNN源码_换backbone
这里的网络不需要自己搭建了，直接调用torchvision库实现的网络框架，如下图直接导入torchvision里models中的vgg16_bn，直接使用官方提供的网络，如下图的两个文件，要修改backbone，唯一不一样的地方就是creat_model。首先需要了解所需要的输出特征层，在所需要的特征层上面构建FPN结构，FPN结构如下，这里是记录如何更换backbone的笔记，是一个学习记录。那么新构建的backbone就是下图虚线前面的部分。一般来说，并不需要完整的模型，这里实现的方式主要是通过。
2024-03-21 19:19:23
258
原创 使用pytorch查看中间层特征矩阵以及卷积核参数
是训练5种花分类数据集的权重文件，这里是和模型相对应的，因为模型是自己搭建的，从官网下载的是不能用的。这里可以看出每遍历一个，都会输出相应的结果，执行的每一步都和代码结构对应的上。1.前面的层提取的是低层次特征，越往后的层提取的信息越高层次，也就越抽象。2.特征图中白色的部分代表的是，网络所关注的部分，也就是学习到的特征。3.全黑色的图说明卷积核并没有起到太多的作用，没有学到有用的信息。：打印出来的模型结构和搭建的模型结构保持一致。是自己搭建的alexnet的实现过程。的笔记，是一个学习记录。
2024-03-20 18:03:22
616
原创 去模糊方向的数据集与论文数据集合成
方法：GOPRO数据集里通过帧率240fps的GOPRO Hero Black运动相机记录连续多帧的清晰图像，取连续数帧图像平均作为模糊图像，然后取连续数帧图像的中间帧作为对应的清晰图像。**结论：**关于无人机去模糊方向，可以考虑自建数据集，把风力和模糊结合起来，对不同的模糊程度进行分级，针对不同的模糊在特征图融合的时候给予不同特征图对应的权重，以达到更好的去模糊效果，建立最接近真实场景的数据集，这也是一种创新！缺点：通过求平均值生成的图像的数据集缺乏多样性，另外这样生成的图像不能代表真实世界的模糊。
2024-03-18 22:06:20
422
原创 DeblurGANv2的改进策略3——更换不同的特征提取网络backbone
*注意：**在第一个箭头的部分，写的256,512，，，，等等代表的是图像的分辨率，那么从这个网络中可以看到，每个层的大小都是上一层的一半，最后经过上采样再汇合一起，那么在特征提取网络中，我们就需要找到哪一层是前一层大小一半的输出部分，这部分才是对我们来说是有用的，我们要使用backbone的这部分提取的特征。map1，map2，，，自顶部向下，是拼特征图的部分，即融合不同尺度的特征，对应从上向下的第3个箭头部分。
2024-03-17 17:55:49
725
1
原创 DeblurGANv2的改进策略2-更换不同的激活函数
目前常用的激活函数有sigmoid，swish和Leakyrelu等，其中Leakrelu为GAN网络训练中比较常用的激活函数，也是DeblurGANv2源代码使用的激活函数，以下将尝试更改不同的激活函数，研究对训练过程和训练结果的影响，对DeblurGANv2进行改进。修改models文件夹下的网络搭建部分networks.py文件，更改激活函数。：使用源码自带的激活函数具有较好的训练效果！如上图所示，总共有8个部分需要修改。
2024-02-22 11:06:33
239
原创 DeblurGANv2的改进策略1-更换不同的优化器optimizer
目前常用的优化器有Adam，adadelta，AdaMax，Nadam，RMSProp和SGD等等。在DeblurGANv2的源代码中，使用的优化器为Adam，以下将尝试不同的优化器对训练过程和训练结果的影响，对DeblurGANv2进行改进。
2024-02-21 18:09:42
382
原创 DeblurGANv2的复现过程
config.yaml是项目的配置文件：包括训练集的路径设置，验证集路径设置，对数据集内图片的处理，数据集增强等；：评价指标(metric)，用于测试metrics的代码，测试性能和指标，输出单个图片的PSNR或者输出批次的SSIM等，用于测试相关指标。pwd=9fpt 提取码：9fpt。：用于记录和统计模型中各种指标的工具类，比如PSNR，SSIM等，主要用于记录和监视关键指标，便于模型性能的评估和调优。：对应config文件中学习率的调整方法，那里是调用模块，这里是封装的模块，和优化器一起使用的类。
2024-01-30 09:36:29
1526
4
原创 DeblurGAN-v2: Deblurring (Orders-of-Magnitude) Faster and Better 阅读笔记
在PSNR/SSIM方面，DeblurGAN-v2 (Inception-ResNet-v2)和SRN排在前2位DeblurGAN-v2 (Inception-ResNet-v2)的PSNR略低，因为它不是在纯MSE损失下训练的，但它在SSIM中优于SRN。然而，请注意，与GoPro案例类似，这个“几乎平局”的结果是在DeblurGAN-v2 (Inception-ResNet-v2)的推理复杂性仅为SRN的1/5的情况下实现的。对DeblurGAN-v2管道的特定成分的影响进行了消融研究。
2024-01-19 19:35:26
967
原创 A Motion Deblurring Network for Enhancing UAV Image Quality in Bridge Inspection[阅读笔记]
去运动模糊
2024-01-09 20:31:54
815
原创 基于颜色特征和质心位移的火灾检测算法
首先基于RGB颜色空间对火灾进行检测，对于出现的误检情况，使用检测到火灾的质心的变化给予排除。3.每间隔50帧，绘制当前帧的形心坐标，并输出散点图。2.对检测到的火灾区域，计算该区域的质心坐标。1.基于火灾颜色特征完成对火灾的检测。
2023-11-21 08:44:01
46
1
原创 火灾动态特征，基于OV指数（重叠比例）的静止、蔓延和移动等动态的区分
这里是通过寻找每一帧与前面5帧的交集（每一帧的交集取并集），与当前帧火灾面积的比值，也就是OV，用于排除误检，如果OV指数过大则认为最近5帧相似度很高（火灾），如果OV指数处于一定的范围//，则认为这是火灾，如果OV指数很小，则说明这是移动的物体，排除误检。
2023-11-19 23:43:26
31
原创 提取图片像素点RGB三通道的数值，并进行相关的分析
随机抽取图像中100个像素点对应的RGB三通道值，分别对每一个通道绘制散点图，其中横坐标为像素点序号，纵坐标为该通道的值，纵坐标的坐标轴的值从0开始，分别计算对应的平均值、极差、方差、标准差，在图中绘制置信度为70%的区域（也就是这个区域包含80%的像素点）在图中绘制一条水平线，各个像素点到这条水平线的距离最短。
2023-07-23 10:48:11
665
1
原创 基于颜色空间的火灾检测
6.增加一个静止的空白画布，画布的大小和视频帧的大小一致，每间隔1秒钟，计算二值化视频帧中所检测到的火灾形心（只有一个）坐标，并把当前帧火灾形心坐标添加画布的对应位置，也就是每1秒钟空白窗口上面多一个点。1.对视频的每一帧先利用公式gray=1.6r-g-0.8b，得到相应的灰度图，再利用otsu算法进行二值化，对每一帧执行先腐蚀再膨胀去除噪声，最终得到二值化视频。2.对于二值化视频中的每一帧，合并距离较近的火灾区域，去除面积较小的火灾区域，同时在两个窗口分别展示未经过任何处理的原视频和最终的二值化视频。
2023-07-22 21:52:51
50
原创 绘制一副图片沿着一条横线，RGB通道值得变化规律
注释：可以通过修改：fig1, ax1 = plt.subplots(figsize=(6,6))，调整输出图的大小。
2023-07-20 16:00:51
68
1
原创 不规则区域，统计ROI区域像素点的数目
由于ROI区域不规则，不能给出坐标位置，仅仅知道该区域在图片中的位置，需要在原图中手动绘制几个ROI区域，然后统计该区域像素点的个数。（和图像的通道数量没有关系，无论什么图像都会把图像转为单通道）
2023-07-20 15:00:37
177
1
原创 视频火灾检测算法
1.对视频的每一帧先利用公式gray=1.6r-g-0.8b，得到相应的灰度图，再利用otsu算法进行二值化，对每一帧执行先腐蚀再膨胀去除噪声，最终得到二值化视频。2.对于二值化视频中的每一帧，合并距离较近的火灾区域，去除面积较小的火灾区域，同时在两个窗口分别展示未经过任何处理的原视频和最终的二值化视频。4.两个视频均实时显示FPs，即每秒可以处理视频的帧数，在两个视频中均实时显示每秒钟火灾面积的大小，即变化速度。3.计算二值化视频中所检测到的火灾面积和火灾个数，并且把对应数值在两个视频上面进行实时展示。
2023-07-19 17:11:41
135
原创 YOLOv3 SPP学习笔记
Ultralytics：指的是一家公司开发的yolo，yolov3 ultralytics是一种基于深度学习的目标检测算法，由Ultralytics公司开发。yolov3 ultralytics在速度和准确性方面都有很好的表现，被广泛应用于物体识别、自动驾驶、安防监控等领域。Mosaic图像增强：目的是增加数据的多样性，增加目标个数，BN能一次性统计多张图片的参数。SPP模块：实现了不同尺度的特征融合（其实就是在v3的基础上加上下面这个模块）缺点：1.当不想交时loss为0。1.能够更好的反应重合程度。
2023-07-12 16:40:45
59
1
原创 一种基于颜色预处理的深度学习候选区域和火焰检测方法（复现）
* 原图 复现结果**2、选择性搜索（selective search）4、Inception-V3模型的分类。1、HSV和YCbCr空间筛选。3、从RGB图像中提取候选区域。
2023-06-14 10:04:48
91
原创 tensor和numpy的联系和区别
张量（tensor）是一种多维数组，是向量、矩阵、标量等概念的自然推广，可以表示任意多的维度，可以是 0 维张量（标量），1 维张量（向量），2 维张量（矩阵），以及更高的维度。NumPy是Python的一个用于科学计算的基础包。它提供了多维数组对象，多种衍生的对象（例如隐藏数组和矩阵）和一个用于数组快速运算的混合的程序，包括数学，逻辑，排序，选择，I/O，离散傅立叶变换，基础线性代数，基础统计操作，随机模拟等等。1.都是计算的一种数据类型，Tensor可以在GPU上运行，Numpy只能在CPU上运行。
2023-06-11 17:01:19
1040
原创 基于tensorboard的Precision，recall，F1 score，MCC的可视化
这些深度学习的相关指标主要是针对在训练集训练完每一轮后，得到权重文件，把所得到的权重文件拿到测试集上面进行验证，每一轮保留一个数字，最终画出对应的曲线图！
2023-06-07 09:12:01
210
1
原创 Pytorch+anaconda+Pycharm深度学习环境的搭建流程
计算机win+r进入，cmd进入命令，用activate name激活建立好的房间，意味着进入这个房间，把安装pytorch的命令放进去，在这个房间里放入pytorch，打开Pycharm编辑器，在setting中选择Python编辑器，把这个房间添加进去，并选择这个房间作为开发环境，将来进行相关的开发，可以选择这么一个房间。就是一个包管理工具，便捷获取包且对包能够进行管理，包括了python和很多常见的软件库和一个包管理器conda，可以搭建所需的环境。1.下载安装Pycharm（用于提供集成开发环境）
2023-05-07 20:23:00
94
原创 如何读一篇论文-跟李沐学AI
第二遍阅读完之后，你就对整个论文的各个部分，都有一个大概的了解，中间可以把作者引用的别人的相关文献圈出来，比如作者是在某某某的方法上进行了改进，做了哪些改进之类的。这一遍读的时候，一定要明白作者每句话，每个字在说什么，并且最好可以脑补出它整个流程是什么样子的，似乎是自己在做实验，写论文一样。读实验部分的时候，可以思考一下，作者是如何描述自己的实验的，你可以思考，如果换自己来做的话，能不能比作者做得更好？第三遍是最后一遍了，也是最详细的一遍，这里就需要自己知道每一句话在干什么，每一段在说什么。
2023-04-28 10:06:39
42
原创 基于视频图像的火灾检测算法2
1.视频帧满足R(x,y)>𝐺(𝑥,𝑦)>𝐵(𝑥,𝑦)、R(x,y)>190，𝐺(𝑥,𝑦)>100、𝐵(𝑥,𝑦)＜140、Y(x,y)≥Cr(x,y)、𝐶𝑟(x,y)≥Cb(x,y)、Y(x,y)>𝑌通道均值、Cr(x,y)>𝐶𝑟通道均值、Cb(x,y)<𝐶𝑏通道均值条件。把满足以上条件的区域用红色的方框给框出来，并给出“Fire”的警告，不满足条件的给出“No Fire”的警告，展示处理后的视频，并保存下来。代码2：在上述程序中，添加一段程序：只保留检测面积最大的火焰的目标。
2023-04-25 14:11:53
199
原创 基于经典颜色空间的火灾检测算法总结
满足Y(x,y)≥Cr(x,y)、𝐶𝑟(x,y)≥Cb(x,y)、Y(x,y)>𝑌通道均值、Cr(x,y)>𝐶𝑟通道均值、Cb(x,y)<𝐶𝑏通达均值条件的为1（火焰），其余的为0（背景区域）2.满足Y(x,y)≥Cr(x,y)、𝐶𝑟(x,y)≥Cb(x,y)、Y(x,y)>𝑌通道均值、Cr(x,y)>𝐶𝑟通道均值、Cb(x,y)<𝐶𝑏通道均值条件的为1，其他的为0，得到二值化图B。满足R(x,y) > 𝐺(𝑥,𝑦) > 𝐵(𝑥,𝑦)、R(x,y) > 190条件的为1（火焰），其余的为0（背景区域）
2023-04-22 21:41:03
888
2
原创 基于规则的多色空间和相关系数的高效森林火灾探测在无人机中的应用-文献复现
条件1：视频帧满足R(x,y)>𝐺(𝑥,𝑦)>𝐵(𝑥,𝑦)、R(x,y)>190，𝐺(𝑥,𝑦)>100、𝐵(𝑥,𝑦)＜140、Y(x,y)≥Cr(x,y)、𝐶𝑟(x,y)≥Cb(x,y)、Y(x,y)>𝑌通道均值、Cr(x,y)>𝐶𝑟通道均值、Cb(x,y)<𝐶𝑏通道均值条件。用python写一段程序处理一段视频，把满足以下条件视频帧的相关位置框出来并打上“有火情”的标签，统计满足以下条件视频帧的数量，保存处理后的视频文件。条件2：基于动态火焰检测中的帧差法，相关系数满足大于0.95。
2023-04-20 17:14:00
169
1
原创 无人机巡检文献总结
2.对火势的大小和走向进行研判，计算火焰的面积，烟雾的面积，烟雾的颜色，划分几个不同的火灾等级（与地面巡检不同，这里体现出无人机高空巡检的优势，能从一个更为广阔的视角对火灾态势进行判断），提出一种基于迁移学习的火焰检测方法，方法内容：应用Otsu-K-means、RGB、HSV色彩空间阈值分割算法以及K-means-RGB、K-means-HSV、K-means-RGB-HSV融合算法和MobileNetV3深度学习算法进行识别，对识别到的火焰进行分割，对火焰或烟雾的面积进行计算；
2023-03-20 19:51:38
824
空空如也
空空如也
TA创建的收藏夹 TA关注的收藏夹
TA关注的人