去模糊方向
文章平均质量分 72
课题子方向,关于无人机信息采集中的图像模糊问题
人间烟火_0528
这个作者很懒,什么都没留下…
展开
-
DeepRFT的不同残差块个数对效率和速度的影响
最开始的想法是,这个网络虽然取得个很好的效果,但是是以牺牲大量的算力为代价,模型的推理速度大大降低了,所以这里考虑如何在接近实时性的情况下使效果尽可能的好,比如MIMO的效果不太好,但是推理速度小于0.008秒,速度太快造成算力冗余;该网络效果好,但是推理速度是0.3秒,距离实时性还有很长的距离,考虑如何在二者之间找平,目标是在尽可能接近实时的情况下(实时是0.03s左右),效果尽可能的好,进而取得速度和精度的平衡。2.把原来的卷积模块,非1*1卷积部分都换为Do-conv。原创 2024-05-28 15:58:46 · 447 阅读 · 0 评论 -
MIMO-UNet网络改进策略和取得效果
对原图进行下采样后,再次利用BAM对特征进行提取,然后再进行下一步,总体来说有一定的效果,参数量有一定的增加(这里产生的想法是,是否可以把所有去模糊模块都加上,然后做消融实验,最后保留最好的,会不会有效果呢,就好像保留特征提取最有效果的部分,特征融合最有效果的部分,也不算抄袭);**效果:**比源码下降0.93,执行train.py的test,在GoPro上的test进行测试,测试指标是PSNR=29.76,Average time=0.011376。按照道理来说,应该是有效果的,但是这里效果很差。原创 2024-05-27 17:11:06 · 789 阅读 · 0 评论 -
视频的抽帧和模糊简单生成方法
【代码】视频的抽帧和模糊简单生成方法。原创 2024-05-12 15:19:08 · 211 阅读 · 2 评论 -
UNet网络在图像去模糊方向的应用
该网络的结构图如下所示,对比和MIMO-UNet网络的异同,可以看出,该网络的不同之处在于解码部分,把原来网络的解码部分重复了4遍,属于改变了模型的结构(思考:不确定有什么太大的效果,但是肯定会增加参数量,期刊水平较低)该网络的网络结构图如下所示,把Transformer和UNet结合在了一起,这是一个很好的想法,很多特征提取网络都是通用的,很多特征加工模块都是通用的,可以从最新的网络中进行借鉴。该网络的网络结构如下图所示,主要的创新点就是更换了残差模块,把常规的残差模块更换为带有傅里叶变换的残差模块。原创 2024-04-25 12:55:42 · 1712 阅读 · 4 评论 -
MIMO-UNet复现,DeepRFT复现及总结
进行这一步的主要原因是:假如当我有这个想法之后,我在别人的网络上更换自己的模块,会碰到哪些问题,更重要的是学习一个调参的过程,事实上,即使你有了很好的想法并成功,实施效果也不一定好,这是个大概率事件,整个过程也确实很大程度上依赖于经验,深度学习也确实有很多不可解释的现象。**最后的总结:**目前的结论是使用带有FFT的残差模块的网络DeepFRT在训练数据上,PSNR会有明显的提高,但是在验证集和MIMO-UNet和更换为残差模块的MIMO-UNet的区别不大,,,至于这个原因也许是超参数不一样吧,,,,原创 2024-04-24 21:02:26 · 1084 阅读 · 5 评论 -
MIMO-UNet的网络结构分析
输出:每个 ResBlock 的输出同样是多通道的特征图,形状与输入相同。输入:对于每个 ResBlock,输入是一组多通道的特征图(张量),通常其形状为 (batch_size, channels, height, width)。连接方式:首先将输入的三个张量在通道维度(dim=1)上进行连接,然后通过包含两个基本卷积层的 nn.Sequential 结构进行处理。连接方式:首先将输入特征图进行元素乘积融合,然后将融合结果与其中一个输入特征图通过一个基本卷积层(merge)结合并相加,得到最终输出。原创 2024-04-17 22:37:07 · 1145 阅读 · 0 评论 -
DeblurGANv2-master文件组成
*Config:**config.yaml是项目的配置文件:包括训练集的路径设置,验证集路径设置,对数据集内图片的处理,数据集增强等;优化器的选择,学习率的设置,学习率的变化设置#Test_metrics.py:评价指标(metric),用于测试metrics的代码,测试性能和指标,输出单个图片的PSNR或者输出批次的SSIM等,用于测试相关指标。Metric_counter.py:用于记录和统计模型中各种指标的工具类,比如PSNR,SSIM等,主要用于记录和监视关键指标,便于模型性能的评估和调优。原创 2024-04-13 10:24:31 · 457 阅读 · 0 评论 -
UNet网络学习记录
unet网络结构的组成原创 2024-04-11 14:36:22 · 359 阅读 · 0 评论 -
去模糊质量衡量指标SSIM,PSNR和推理时间
所有对于算法的改进都是有一个目标的,比如使得图像的质量更好,又或者处理的速度更快,这些都是用来衡量去模糊算法的好坏程度的指标。在图像处理部分,有两个比。推理时间:指的是图像输入模型到输出模型的运行时间,是衡量算法好坏的重要指标,一般都有达到实时性的要求,只有这样算法才有部署的可能性,才是有意义的!:一种全参考的图像质量评价指标,它分别从亮度、对比度、结构三*方面度量图像相似性。:一种全参考的图像质量评价指标。原创 2024-03-29 16:19:49 · 339 阅读 · 0 评论 -
A Motion Deblurring Network for Enhancing UAV Image Quality in Bridge Inspection[阅读笔记]
去运动模糊原创 2024-01-09 20:31:54 · 845 阅读 · 0 评论 -
DeblurGANv2的改进策略1-更换不同的优化器optimizer
目前常用的优化器有Adam,adadelta,AdaMax,Nadam,RMSProp和SGD等等。在DeblurGANv2的源代码中,使用的优化器为Adam,以下将尝试不同的优化器对训练过程和训练结果的影响,对DeblurGANv2进行改进。原创 2024-02-21 18:09:42 · 597 阅读 · 4 评论 -
DeblurGANv2的改进策略2-更换不同的激活函数
目前常用的激活函数有sigmoid,swish和Leakyrelu等,其中Leakrelu为GAN网络训练中比较常用的激活函数,也是DeblurGANv2源代码使用的激活函数,以下将尝试更改不同的激活函数,研究对训练过程和训练结果的影响,对DeblurGANv2进行改进。修改models文件夹下的网络搭建部分networks.py文件,更改激活函数。:使用源码自带的激活函数具有较好的训练效果!如上图所示,总共有8个部分需要修改。原创 2024-02-22 11:06:33 · 381 阅读 · 3 评论 -
DeblurGAN-v2: Deblurring (Orders-of-Magnitude) Faster and Better 阅读笔记
在PSNR/SSIM方面,DeblurGAN-v2 (Inception-ResNet-v2)和SRN排在前2位DeblurGAN-v2 (Inception-ResNet-v2)的PSNR略低,因为它不是在纯MSE损失下训练的,但它在SSIM中优于SRN。然而,请注意,与GoPro案例类似,这个“几乎平局”的结果是在DeblurGAN-v2 (Inception-ResNet-v2)的推理复杂性仅为SRN的1/5的情况下实现的。对DeblurGAN-v2管道的特定成分的影响进行了消融研究。原创 2024-01-19 19:35:26 · 1300 阅读 · 0 评论 -
去模糊方向的数据集与论文数据集合成
方法:GOPRO数据集里通过帧率240fps的GOPRO Hero Black运动相机记录连续多帧的清晰图像,取连续数帧图像平均作为模糊图像,然后取连续数帧图像的中间帧作为对应的清晰图像。**结论:**关于无人机去模糊方向,可以考虑自建数据集,把风力和模糊结合起来,对不同的模糊程度进行分级,针对不同的模糊在特征图融合的时候给予不同特征图对应的权重,以达到更好的去模糊效果,建立最接近真实场景的数据集,这也是一种创新!缺点:通过求平均值生成的图像的数据集缺乏多样性,另外这样生成的图像不能代表真实世界的模糊。原创 2024-03-18 22:06:20 · 703 阅读 · 0 评论 -
DeblurGANv2的复现过程
config.yaml是项目的配置文件:包括训练集的路径设置,验证集路径设置,对数据集内图片的处理,数据集增强等;:评价指标(metric),用于测试metrics的代码,测试性能和指标,输出单个图片的PSNR或者输出批次的SSIM等,用于测试相关指标。pwd=9fpt 提取码:9fpt。:用于记录和统计模型中各种指标的工具类,比如PSNR,SSIM等,主要用于记录和监视关键指标,便于模型性能的评估和调优。:对应config文件中学习率的调整方法,那里是调用模块,这里是封装的模块,和优化器一起使用的类。原创 2024-01-30 09:36:29 · 2814 阅读 · 43 评论 -
DeblurGANv2的改进策略3——更换不同的特征提取网络backbone
*注意:**在第一个箭头的部分,写的256,512,,,,等等代表的是图像的分辨率,那么从这个网络中可以看到,每个层的大小都是上一层的一半,最后经过上采样再汇合一起,那么在特征提取网络中,我们就需要找到哪一层是前一层大小一半的输出部分,这部分才是对我们来说是有用的,我们要使用backbone的这部分提取的特征。map1,map2,,,自顶部向下,是拼特征图的部分,即融合不同尺度的特征,对应从上向下的第3个箭头部分。原创 2024-03-17 17:55:49 · 1131 阅读 · 4 评论