ACCV：DENet: Detection-driven Enhancement Network for Object Detection under Adverse Weather Conditio

最新推荐文章于 2024-05-20 19:08:38 发布
最新推荐文章于 2024-05-20 19:08:38 发布
阅读量983 收藏 12
点赞数 19
文章标签： 目标检测 目标跟踪 人工智能
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/weixin_47020721/article/details/135307037
版权

Abstract

解决的问题：恶劣环境下的目标检测

贡献：

  • 提出了一个极其轻量级的增强模型（45k个参数），称为DENet。为了有效和高效地增强，在DENet中应用了基于Laplacian-pyramid的结构。GEM为增强LF分量设计和开发了DEM（细节增强模块）自适应增强细化HF分量
  • 通过级联DENet和yolov3，获得了一种称为DE-YOLO的端到端检测框架，只使用正常的检测损失，不需要高质量的GT图像
  • 与不同类型的SOTA方法相比，所提出的方法提供最可靠的检测结果，同时所需的运行时间非常有限

实验表明DENet避免了繁重的计算，忠实地保留了有利于检测的潜在特征，并且DE-YOLO对在正常条件和恶劣天气条件下拍摄的图像都是有效的

Introduction

存在的问题：

  • 现有的物体检测器都是高图像质量上训练，但是在实际应用中如自动驾驶，图片在极端天气情况下，如低光、有雾，由于训练图片和测试图片存在大范围的偏移，这些目标检测模型在极端天气环境下也许不能提供可靠的结果。
  • 为了提升在恶劣天气环境下检测性能，通常会在检测前使用先进的图像增强技术，但是为了建立从低质量图像到高质量图像复杂的非线性映射，许多增强模块会有很大的模型尺寸，太大的模型尺寸对实时检测是不利的。即使现在有一些很小的模型运行时间很短，但是对于人类视觉他们的提升十分有限
  • 许多增强模型都是通过使用增强损失来训练的，增强损失测量增强图像与真实情况之间的距离，一方面，无法在实际应用中获clean GT image，另一方面这种损失函数平等对待每一个像素，无法更多地关注有利于目标检测的特征

本文解决方案：

1、使用Laplacian pyramid将输入图像分解为低频和高频分量。通常，天气特定信息（对比度，光源）更多地与LF分量有关，因此，为了减轻恶劣天气对探测的影响，很好地捕捉和微调在LF分量中的多尺度信息是很重要的。

2、为LF分量设计了一个GEM（global enchancement module）由4个平行的不同尺寸卷积组成，由于天气特定信息与物体相互作用的原因，我们从LF分量中提取跨层制导信息，然后应用仿射变换将引导信息合并到每个HF分量的特征中，从而可以很好地描绘HF信息，例如边缘和纹理。

3、为了避免正常增强损失函数的缺点，我们假设clean GT不可用

Method

Laplacian-pyramid-based Enchancement

通过使用Laplacian pyramid decomposition 可以将输入图像I分解为LF分量和HF分量。

LF，HF在第i层分解层的计算如下：
在这里插入图片描述

  • N是分解的层数

  • B()代表通过2D高斯卷积核（尺寸5*5）模糊输入

  • 在这里插入图片描述代表上采样

  • 在这里插入图片描述

  • 在这里插入图片描述代表下采样

    很明显分解是完全可逆的

    L经过N-1次高斯模糊，有着最低的分辨率，L是LF分量，它可能包含全局照明和大规模结构

    Hi由HF残余细节组成，并具有更大的分辨率，从高分解级别到低分解级别，图像细节的粗滤级别到精细级别分别存储在Hi中

由于LF分量显示全局照明，在DENet中设计了GEM提高对比度并恢复LF分量中的可见性，LF分量低分辨率导致GEM中的计算负担较低，因此使用Laplacian pyramid分解和构建GEM对于LF分量是有利于DE-YOLO的检测速度。

注意到Laplacian pyramid中的HF分量包含从粗到细的局部细节，并且这些细节与LF分量高度相关。因此，在每个HF层部署了一个DEM通过合并从跨水平制导模块提取的制导来高效的增强局部细节

GEM
在这里插入图片描述
我们的DENet目标不是获得接近于人眼的clean GT.因此不需要建立从低质量图像到GT的复杂映射。这使得GEM足够简单。

前两个卷积用来从LF分量提取特征，由于GEM是为了增强图像中的全局结构和对比度/照明度构建的，因此使用不同大小的内核来很好地捕捉多尺度信息是合理的，接着使用了4个平行的卷积。因为LF分量的分辨率很小，7*7的卷积核足够覆盖原图的很大一篇区域。因此，可以很好地描述特定于环境的知识，例如照明条件或在整个图像上扩散的雾，为了进一步降低计算复杂度和参数量，每个平行输出的特征图被压缩到8个通道。

DEM
在这里插入图片描述
为了增强HF分量，DEM和CGM被建立。CGM用来从LF分量提取指导信息，为了嵌入未处理分量L和增强分量L’之间的差异，L和L‘都被送到CGM，因为LF分量在空间上关联HF分量，一个空间注意力机制被用来定位LF和HF高度相关的位置。最后，一个3*3卷积被用来进一步细化32个特征图

DEM在CGM提供的指导信息，被用来增强HF分量

由于LF和每个HF分辨率不同，在进入DEM之前，使用双线性插值对跨层指导信息进行上采样。注意HF的分辨率随着分解水平的降低而变大。因此，为每个HF分量构建复杂的增强模块可能会引起大量计算，从而显著降低检测速度。为了有效地增强HF分量，使用简单的残差块，并应用仿射变换将引导信息合并到提取的HF特征中。
仿射变换在这里插入图片描述

Fi代表提取HF特征，在这里插入图片描述代表元素级的乘法，αi和βi是缩放和第i层分解层的偏移参数，它们通过将上采样的指导信息G馈送到两个不同的3*3卷积层来学习的。

暗魂b
关注
  • 19
    点赞
  • 踩
  • 12
    收藏
    觉得还不错? 一键收藏
  • 1
    评论
matlab曲线的颜色代码-ITM-CNN:ITM-CNN的官方存储库（ACCV2018）
05-23
matlab曲线的颜色代码ITM-神经网络 这是ACCV 2018中提出的ITM-CNN论文的官方项目存储库。 我们提供测试代码以及​​训练有素的砝码。 在PQ-OETF之后，在BT.2020颜色容器中，测试代码从Gamma曲线之后的8位/像素的SDR视频（YUV）生成10位/像素的HDR视频文件（YUV）。 BT.709颜色容器。 使用上述规范进行编码后，可以在HDR电视上查看生成的HDR YUV文件。 可以在本文中找到更多详细信息。 参考：Soo Ye Kim，Dae Eun Kim，Munchurl Kim。 ITM-CNN：使用卷积神经网络学习从低动态范围视频到高动态范围显示的逆色调映射。 亚洲计算机视觉会议，2018年。 要求 我们的代码是使用MatConvNet实现的。 （需要MATLAB） 必须通过官方网站进行MatConvNet的适当安装：有关安装MatConvNet的详细说明，请参见： 测试码 快速开始 下载所有文件。 将文件放在/ + dagnn /中到<MatConvNet> / matlab / + dagnn 在test.m （或test_lowmem.m ）
MutualGuide:[ACCV2020]“本地化进行分类和分类以进行本地化
05-05
本地化分类和本地化分类：对象检测中的相互指导 张衡，Elisa FROMONT，塞巴斯蒂安·莱菲弗，布鲁诺·阿维尼翁 规划 添加主干。 添加主干。 添加主干。 添加脖子。 添加TensorRT转换代码以加快推理速度。 添加用于培训的MixUp数据增强。 添加绘图功能以绘制检测结果。 添加自定义数据集训练（ XML格式的注释）。 介绍 大多数深度学习对象检测器都基于锚机制，并借助预定义锚框和地面真值框之间的“联合交叉”（IoU）来评估锚与对象之间的匹配质量。 在本文中，我们对IoU的这种使用提出了质疑，并提出了一种新的锚点匹配标准，该标准在训练阶段通过优化定位和分类任务进行指导：与一项任务相关的预测用于动态分配样本锚点和在其他任务上改进模型，反之亦然。 这是互导检测器的Pytorch实现。 有关更多详细信息，请参阅我们的。 实验结果 VOC2007测试 骨干 脖子 名爵 解析
3DObjectTracking:官方代码
05-04
3D物件追踪 跟踪3D空间中的刚性对象并确定其6DoF姿势是计算机视觉中的一项基本任务。 它的应用范围从增强现实到机器人感知。 给定连续的图像帧和对象的3D模型，目标是可靠地估计已知对象相对于相机的旋转和平移。 尽管对该问题进行了深入研究，但仍然存在许多挑战，例如部分遮挡，外观变化，运动模糊，背景混乱和实时要求。 在此存储库中，我们将不断发布我们正在进行的有关3D对象跟踪的研究的算法和代码。 用于不同算法的文件夹包括重现我们论文中提出的结果并支持在不同项目和应用程序中的完全可重用性所需的一切。 包括与以下论文相对应的算法： Stoiber M，Pfanne M，Strobl KH，Triebel R，Albu-SchäfferA（2020）一种基于区域的6DoF对象跟踪的稀疏高斯方法。 在：亚洲计算机视觉会议
DHSGAN：“ DHSGAN：烟雾的端到端除雾网络”的正式张量流实施
02-06
DHSGAN 介绍 这是在澳大利亚华盛顿州珀斯举行的第14届亚洲计算机视觉会议（ACCV）2018上发布的“ DHSGAN：端到端雾和烟除雾网络”的正式实施。 依存关系 Python 2.7（还兼容python 3.5、3.8 {已通过pycharm代码检查进行检查}） Tensorflow == 1.4.0（应该在其他版本上进行细微改动） Opencv-python（主要在CAP中使用） 烧瓶（适用于webapp） 该代码在以下环境中进行了测试：-具有CPU架构x86_64 + Nvidia Titan X 1070 + cuda9.0的Ubuntu 14.04 LTS。 入门 训
VASNet：PyTorch实施ACCV 2018-AIU2018论文视频摘要时要特别注意
02-20
注意的视频摘要 Jiri Fajtl，Hajar Sadeghi Sokeh，Vasileios Argyriou，Dorothy Monekosso和Paolo Remagnino着重我们的PyTorch实施。 本文在 。 安装 开发和评估是在以下配置上完成的： 系统配置 平台：Linux-4.15.0-43-generic-x86_64-with-Ubuntu-16.04-xenial 显示驱动程序：NVRM版本：NVIDIA UNIX x86_64内核模块384.130 Wed Mar 21 03:37:26 PDT 2018 GCC版本：gcc版本5.4.0 20160609（Ubuntu 5.4.0-6ubuntu1〜16.04.10） GPU：NVIDIA Titan Xp CUDA：9.0.176 CUDNN：7.1.2 Python包 的Python：3.5.2
Yolo框架优化：黑夜中也可以实时目标检测，
gzq0723的博客
08-20 717
点击蓝字 关注我们关注并星标从此不迷路计算机视觉研究院公众号ID｜计算机视觉研究院学习群｜扫码在主页获取加入方式计算机视觉研究院专栏Column of Computer Vision Institute目前的目标检测模型在许多基准数据集上都取得了良好的效果，在夜晚或者黑暗条件下检测目标仍然是一个巨大的挑战。01简介为了解决这个问题，有研究者提出了一个金字塔增强网络（pyramid enhanced...
PE-YOLO：解决黑夜中的目标检测难点
小白学视觉
08-07 859
点击上方“小白学视觉”，选择加"星标"或“置顶”重磅干货，第一时间送达目前的目标检测模型在许多基准数据集上都取得了良好的效果，在夜晚或者黑暗条件下检测目标仍然是一个巨大的挑战。01简介为了解决这个问题，有研究者提出了一个金字塔增强网络（pyramid enhanced network，PENet），并将其与YOLOv3结合起来，构建了一个名为PE-YOLO的暗目标检测框架。首先，PENet使用拉普...
2D目标检测综述之提议生成和特征表示篇（三）
weixin_35935684的博客
07-18 851
一、提议生成（Proposal Generation） 基于锚的方法 监督提议生成器中有一个大家族叫做基于锚（anchor）的方法。随着区域提议网络（RPN）的提出，我们开始在深度卷积特征图上以监督的方式生成提议。如下图所示： RPN用一个3×3的卷积核在一张特征图上滑动，对于每一个位置，我们考虑k个锚框，它们的尺寸和比例各不相同。这些变化的尺寸和比例允许网络在特征图上匹配到不同比例的对象。基于真实边界框（ground truth box），我们用最合适的锚框匹配到目标的...
目标检测-- DeNet: Scalable Real-time Object Detection with Directed Sparse Sampling
AI小作坊 的博客
09-05 5336
DeNet: Scalable Real-time Object Detection with Directed Sparse Sampling ICCV2017 An easily extendedTheanobased code： https://github.com/lachlants/denet本文针对候选区域提取这个步骤进行加速： 使用角点提取来初步过滤大部分候选区域我们提出的
DetNet: A Backbone network for Object Detection
yj_isee的博客
08-04 639
ECCV2018 TsingHua University &amp;&amp; Face++ Zeming Li 1. Motivation 当前的目标检测模型，不管是one-stage还是two-stage，都是采用的ImageNet分类数据集上预训练的分类模型来在检测数据集上fine-tune。但是分类模型应用到检测任务的主要问题是： 分类模型为了提高分类的准确率，通过很多次do...
Densenet模型详解
qq_33287871的博客
10-08 3787
目录什么是Densenet代码下载Densenet1、Densenet的整体结构2、DenseBlock3、Transition Layer网络实现代码 什么是Densenet ResNet模型的出现使得深度学习神经网络可以变得更深，进而实现了更高的准确度。ResNet模型的核心是通过建立前面层与后面层之间的短路连接（shortcuts），这有助于训练过程中梯度的反向传播，从而能训练出更深的CNN网络。 DenseNet模型，它的基本思路与ResNet一致，也是建立前面层与后面层的短路连接，不同的是，但是它
RANet：Ranking attention Network for Fast Video Object Segmentation论文解读
我的博客有点东西
09-02 3739
这篇ICCV2019的论文可算是厉害了。单目标视频目标分割(VOS)中的SOTA效果，并且速度还惊人的快。 Idea 近年来，Match based和Propagation based 方法做快速VOS的效果显著。这篇工作就将这两个方法的优点融合进来。为了让读者能快速理解VOS的发展趋势，我简单说下什么是Match based和Propagation based 。 Match based：代表...
Localization-Aware Active Learning for Object Detection (ACCV)
Weng Shihao's blog
10-04 884
这是一篇CCF-C文章，简要描述一下思想：目标检测任务的主动学习中的数据选择大多数都基于classification来，作者同时考虑了classification和localization。
基于深度学习的图像融合-论文整理【2022版】
u012183541的博客
10-13 3099
图像融合技术旨在将不同源图像中的互补信息整合到单幅融合图像中以全面地表征成像场景并促进后续的视觉任务。近年来，随着深度学习的兴起，基于深度学习的图像融合算法如雨后春笋般涌现。特别是自编码器，生成对抗网络以及Transformer等技术的出现使图像融合性能产生了质的飞跃。然而，目前尚缺乏对不同融合任务场景下的前沿深度融合算法进行全面论述和分析的综述文献。为此，本文首先介绍图像融合的基本概念以及不同融合场景的定义。针对多模图像融合，数字摄影图像融合以及遥感影像融合等不同的融合场景，本文将从网络架构和监督范式等角
神经网络中的参数解读
yudiemiaomiao的博客
05-17 2万+
1.Batch_Size(批尺寸) 该参数主要用于批梯度下降算法(Batch Gradient Descent)中，批梯度下降算法是每次迭代都遍历批中的所有样本，由批中的样本共同决定最优的方向，Batch_Size 正是批中的样本数量。 若数据集比较小，可以采用全数据集(Full Batch Learning)的形式，由全数据确定的方向能更好地代表样本总体，从而更准确地朝向极值所在的方向；但该种
DenseNet模型
热门推荐
毛财胜的专栏
12-05 5万+
《Densely Connected Convolutional Networks》阅读笔记 代码地址：https://github.com/liuzhuang13/DenseNet 首先看一张图： 稠密连接：每层以之前层的输出为输入，对于有L层的传统网络，一共有LL个连接，对于DenseNet，则有L(L+1)2\frac {L(L+1)} 2。这篇论文主要参考了Highway Netw
RANSAC算法概述
最新发布
点云侠的博客
05-20 440
RANSAC算法概述
智能决策引擎架构设计
猫七姑娘的小博客
05-15 1434
智能决策引擎系统是在大数据支撑下，根据行业专家经验制定规则策略、以及机器学习/深度学习/AI领域建立的模型运算，对当前的业务进行全面的评估，并给出决策结果的一套系统。一套商业决策引擎系统动辄百万而且需要不断加钱定制，大多数企业最终仍会走上自研道路，市场上有些开源规则引擎项目可参考，比较出名的开源规则引擎有drools、urule，都是基于Rete算法，都是基于java代码实现，一些企业会进行二次开发落地生产。而这类引擎功能强大但也比较“笨重”，易用性以及定制性并不够好，对其他语言栈二次开发困难。
2024第二届全国人工智能应用场景创新挑战赛
audyxiao001的博客
05-14 787
本文从竞赛模式、参赛组别和条件、参赛注意事项以及赛程设置四个角度介绍了第二届全国人工智能应用场景创新挑战赛，并给出大赛官网，以便读者了解更多详细信息。
详细解释一下这段代码：
05-28
这段代码是一个Python函数，其作用是读取一个CSV文件并将其转换为一个Pandas DataFrame对象。下面我们对其中的各个部分进行逐一解释： ```python def reader(file): ``` 这是一个Python函数的定义，函数名为`reader`，它有一个参数`file`，用于指定要读取的CSV文件的路径。 ```python try: df = pd.read_csv(file, index_col='Time', usecols=['Time', 'AccV', 'AccML', 'AccAP', 'StartHesitation', 'Turn' , 'Walking']) ``` 这一部分使用`pd.read_csv()`函数读取CSV文件，并将其转换为一个Pandas DataFrame对象。其中，`index_col`参数指定了要用作索引的列名，`usecols`参数指定了要使用的列名列表。这里我们只选择了6列进行读取。 ```python path_split = file.split('/') df['Id'] = path_split[-1].split('.')[0] dataset = Path(file).parts[-2] df['Module'] = dataset ``` 这一部分将CSV文件的路径进行分割，并将文件名中的`.csv`后缀去掉作为`Id`列的值。同时，它还将CSV文件所在的目录名作为`Module`列的值。 ```python df['Time_frac']=(df.index/df.index.max()).values ``` 这一部分将`Time`列的值除以该列中最大值，将结果作为`Time_frac`列的值。 ```python df = pd.merge(df, tasks[['Id','t_group']], how='left', on='Id').fillna(-1) df = pd.merge(df, metadata_w_subjects[['Id','Subject', 'Visit','Test','Medication','s_group']], how='left', on='Id').fillna(-1) ``` 这一部分将两个其他的DataFrame对象（`tasks`和`metadata_w_subjects`）与当前的DataFrame对象进行合并。合并的方式是使用`Id`列作为连接键，并将结果填充到NaN值处。 ```python df_feats = fc.calculate(df, return_df=True, include_final_window=True, approve_sparsity=True, window_idx="begin").astype(np.float32) df = df.merge(df_feats, how="left", left_index=True, right_index=True) ``` 这一部分使用名为`fc.calculate()`的函数计算一些特征，并将其添加到DataFrame对象中。然后，它将计算出的特征与当前的DataFrame对象进行合并。 ```python df.fillna(method="ffill", inplace=True) return df except: pass ``` 最后，这一部分使用`fillna()`函数填充空值，并返回处理后的DataFrame对象。如果出现任何异常情况，则直接跳过。

“相关推荐”对你有帮助么？

  • 非常没帮助
  • 没帮助
  • 一般
  • 有帮助
  • 非常有帮助
提交
评论 1
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值