深度学习
文章平均质量分 94
AIWalker-Happy
Happy专注于底层视觉处理,对基础AI技术保持学习心态
展开
-
端侧显著性检测新高度,OPPO提出面向真实场景的PSUNet
在高分辨率场景下,。它们受到用于高分辨率图像的公共数据集和高效网络模块的质量的限制。为了缓解这些问题,我们。考虑到移动部署框架的高效推理,。在高分辨率基准数据集上,。客观评价结果优于U2Net,后者的参数值是我们网络的10倍。。在主观评价上,评价结果优于行业基准IOS16(背景式提标)。原创 2024-02-25 11:13:33 · 320 阅读 · 1 评论 -
375FPS! 谷歌提出MaskConver“重校正用于全景分割的纯卷积模型
近年来,基于Transformer的模型由于其强大的建模能力以及对语义类和实例类的统一表示为全局二值掩码,在全景分割中占据主导地位。在本文中,。在这种程度上,它创建了一个轻量级类嵌入模块,当多个中心共存于同一位置时,可以打破这种联系。此外,我们的研究表明,。我们介绍了一个功能强大的,它缩小了卷积和基于Transfoormer模型之间的性能差距。原创 2024-02-25 11:12:25 · 886 阅读 · 0 评论 -
EPSANet:金字塔拆分注意力模块
编辑:Happy首发:AIWalker本文是深圳大学&西安交大在注意力机制方面的探索,在通道注意力的基础上,引入多尺度思想,构建了本文所提的即插即用EPSA模块。相比其他注意力机制(比如SENet、FcaNet等),所提EPSANet在图像分类、目标检测以及实例分割任务上均取得了显著性能提升。Abstract已有研究表明:将注意力模块嵌入都现有CNN中可以带来显著的性能提升。比如,知名的SENet、BAM、CBAM、ECANet、GCNet、FcaNet等注意力机制均带来了客观的性.原创 2021-06-05 15:00:48 · 11167 阅读 · 5 评论 -
视觉架构大一统!港中文通过统一视角Container对Transformer, 深度卷积以及MLP-Mixer进行了大一统
编辑:Happy首发:AIWalker前段时间MLP-Mixer提出后,引发了视觉架构圈的一篇轰动,包含但不限于以下几篇文章:“重参数宇宙”再添新成员:RepMLP,清华大学&旷视科技提出将重参数卷积嵌入到全连接层新坑!谷歌提出MLP-Mixer:一种无卷积、无注意力,纯MLP构成的视觉架构MLP再添新砖,Facebook入局!ResMLP:完全建立在MLP上的图像分类架构CV圈杀疯了!继谷歌之后,清华、牛津等学者又发表三篇MLP相关论文,LeCun也在发声由此引发了关于“ML.原创 2021-06-05 12:08:09 · 322 阅读 · 0 评论 -
HDRUNet | 深圳先进院董超团队提出带降噪与反量化功能的单帧HDR重建算法
编辑:Happy首发:AIWalkerPaper: https://arxiv.org/pdf/2105.13084.pdf本文是深圳先进技术研究院董超团队在HDR领域的最新力作,取得了NTIRE2021 单帧HDR竞赛第二成绩,指标仅低0.07dB,但推理速度快116倍。针对HDR重建伴随的高光区域细节重建、低光区域噪声抑制以及正常曝光区域的量化损失、噪声抑制问题,HDRUNet提出了(1) 条件网络提供空域可变调制;(2) 加权网络提供正常曝光区域信息保留;(3) Tanh_L1用平衡不同.原创 2021-05-29 12:59:28 · 1689 阅读 · 3 评论 -
HINet | 性能炸裂,旷视科技提出适用于low-level问题的Half Instance Normalization
编辑:Happy首发: AIWalker大家好,我是Happy。一直以来,甚少有normalization技术在low-level得到广泛应用并取得优异性能,就算得到应用其性能也会受限或者造成异常的视觉效果。不过,现在有了!旷视科技的研究员提出了一种Half Instance Normalization技术用于图像复原并在不同的low-level领域取得了SOTA性能,先来看一下其刷新的性能(注:以下数据来自paperswithcode.com,此前最佳性能由MPRNet达成):Image .原创 2021-05-18 12:03:40 · 5299 阅读 · 0 评论 -
NTIRE2021图像去模糊竞赛冠军方案: EDPN
编辑:Happy首发: AIWalker本文是中科大团队用于参加NTIRE2021图像去模糊竞赛的方案EDPN,取得了Track1三指标第一,Track2赛道双指标第一的成绩。EDPN是在EDVR的基础上改进而来,引入了金字塔结构、渐进式思想集成自相似性与跨尺度相似性特征。Abstract学术界的图像去模糊往往采用了最简单的单一假设,而真实场景的模糊往往与其他退化并存,比如压缩、下采样。为解决这种问题,本文提出了一种适用于多退化的模糊图像复原:EDPN(Enhanced Deep Pyr.原创 2021-05-15 11:35:00 · 914 阅读 · 1 评论 -
CUGAN=CResMD+GAN | 为进一步提升调制图像复原视觉质量,先进院董超团队提出集成CResMD与GAN的CUGAN
编辑:Happy首发:AIWalker本文是中科院深圳先进技术研究院董超团队在调制图像复原方面的最新力作。该团队在调试图像复原方面的工作从CVPR2019的AdaFM与DNI,到ECCV2020的CResMD,再到本文CUGAN,延续了其一贯简单且实用的风格。本文所提CUGAN当属CResMD的扩展版:引入GAN训练提升纹理细节。Abstract调制图像复原水平旨在通过改变影响复原强度的因子生成复原图像。已有工作主要聚焦于优化均方误差,它会带来比较的重建精度,但缺乏细粒度的纹理细节。本文.原创 2021-05-15 11:33:43 · 781 阅读 · 0 评论 -
NTIRE2021 视频超分竞赛简要回顾
编辑:Happy首发:AIWalker本文对NTIRE2021视频超分竞赛进行了简单的介绍,总而言之一句话:BasicVSR是最大赢家。DatasetNTIRE2021的视频超分竞赛仍然延续NTIRE2020以及AIM2019/20采用了REDS数据集,它的训练集、测试集以及验证机分别包含24000,3000,3000高清(1280×7201280\times7201280×720)视频序列,每个序列包含100连续帧(命名为:‘00000000.png’-‘00000099.png’)。根.原创 2021-05-15 11:32:30 · 1106 阅读 · 2 评论 -
“重参数宇宙”再添新成员:RepMLP,清华大学&旷视科技提出将重参数卷积嵌入到全连接层
编辑:Happy首发:AIWalkerpaper: https://arxiv.org/abs/2105.01883code: https://github.com/DingXiaoH/RepMLP(核心code已开源)本文是清华大学&旷视科技在结构重参数领域继ACNet、RepVGG、DBB之后又一突破:RepMLP,它将重参数卷积与全连接层进行了巧妙地衔接,同时利用了全连接层的全局建模、位置感知特性与卷积的局部结构提取能力。在ImageNet分类、人脸识别以及语义分割等任务(无论.原创 2021-05-15 11:30:24 · 379 阅读 · 0 评论 -
新坑!谷歌提出MLP-Mixer:一种无需卷积、注意力,纯MLP构成的视觉架构
编辑:Happy首发:AIWalkerpaper: https://arxiv.org/abs/2105.01601code:https://github.com/google-research/vision_transformer本文是谷歌大脑的研究员(原ViT团队)在网络架构设计方面挖的新坑:MLP-Mixer。无需卷积、注意力机制,MLP-Mixer仅需MLP即可达到与CNN、Transformer相媲美的性能。比如,在JFT-300M数据集预训练+ImageNet微调后,所提Mixe.原创 2021-05-05 19:27:20 · 2131 阅读 · 3 评论 -
CVPR2021 | NTIRE2021竞赛“三冠一亚“方案BasicVSR++,Vid4新巅峰29.04dB
编辑:Happy首发:AIWalkerpaper: https://arxiv.org/abs/2104.13371code: https://github.com/open-mmlab/mmediting本文是南洋理工大学Chen Change Loy团队在视频超分方面最新进展。在BasicVSR的基础上,将双向信息传播进化为网格状双向信息传播,将光流对齐进化为光流引导的形变对齐,同时利用光流对齐与形变对齐各自的优点得到本文的BasicVSR++。该方案在Vid4数据集上达到了史无前例的2.原创 2021-05-02 10:06:19 · 636 阅读 · 0 评论 -
业界首个支持超高分辨率(10000x10000)图像风格迁移
编辑:Happy首发:AIWalkerpaper:https://arxiv.org/abs/2103.11784code:https://github.com/czczup/URST本文是南京大学&港中文的路通&罗平等人在风格迁移领域的一次突破性探索,提出了首个可以进行超高分辨率(比如10000x10000大小)图像风格迁移的方案URST。针对现有风格迁移模型在图像块处理时存在的块间不一致问题,提出了一种新颖的“Thumbnail Instance Normalizatio.原创 2021-04-29 21:41:01 · 1142 阅读 · 0 评论 -
28.41dB,视频超分最新力作:PFNL+双向信息传播=OVSR
paper:https://arxiv.org/abs/2103.15683本文是武汉大学&哈尔滨工业大学&武汉理工在视频超分领域的一次突破性的成果。在深入分析多帧超分、递归超分以及混合框架超分存在的问题之后,本文创造性的提出了同时利用过去和未来应状态的全局视频超分方案OVSR。受益于OVSR的全局信息特性,所提方法在几个公开数据集上取得了超越以往模型的性能,刷新了Vid4、UDM100的指标,达到了前所未有的28.41dB的性能。Abstract现有视频超分主要有这样两种流派:.原创 2021-04-29 21:39:56 · 529 阅读 · 0 评论 -
逆转ISP,港科大陈启峰团队提出了可逆ISP
编辑:Happy首发:AIWalkerPaper:https://arxiv.org/abs/2103.15061code:https://github.com/yzxing87/Invertible-ISP本文是港科大陈启峰老师团队在ISP方面的工作,已中CVPR2021。针对传统ISP中的信息损失且难以从sRGB进行RAW数据重建的问题,我们设计了一种可逆图像信号处理方案(InvISP),它对RGB渲染与RAW重建进行联合优化。受益于所提方案的可逆性,我们可以直接从sRGB数据重建真实R.原创 2021-04-29 21:38:32 · 1758 阅读 · 0 评论 -
综述:深度学习时代的低光图像增强最全综述,附带最新提出的大尺度低光图像数据集、在线评估平台
编辑:Happy首发:AIWalker本文是南开大学程明明与南洋理工大学Chen ChangeLoy等人关于深度学习时代的低光图像增强的综述。本文从低光图像增强的数据集、网络架构、损失函数、学习机制等不同角度对其进行了系统性的总数;为评估不同方法的泛化性与鲁棒性还提出了一个大尺度低光图像数据集;与此同时,针对低光图像增强存在的挑战以及未来有研究价值的方向进行了探讨。强烈推荐给各位low-level领域的同学!Abstract低光图像增强(Low-light image enhancemen.原创 2021-04-29 21:36:45 · 10088 阅读 · 0 评论 -
思维的碰撞:小波变换偶遇深度学习
编辑:Happy首发:AIWalker本文是浙江大学于2019提出的一种基于小波的图像超分方案,算是比较“老”的一种方案了。不过考虑到它的创新:将小波变换与深度学习相结合,本文还是值得略读一番。不同于其他深度学习图像超分方案,本文采用小波变换提取图像的四组系数并作为网络的输入,预测残差图像的小波系数。这不同于常规方案的直接进行图像复原或者残差图像复原,小波系数的预测使得其具有更好的鲁棒性。Abstract现有的基于深度学习的图像超分往往采用更深、更宽的架构提升重建图像质量,这就导致了更大的.原创 2021-04-29 21:35:27 · 2388 阅读 · 2 评论 -
CVPR2021 | 实时4K“image-to-image translation”,港理工&达摩院张磊团队提出拉普拉斯金字塔变换网络
编辑:Happy首发:AIWalkerpaper: https://www4.comp.polyu.edu.hk/~cslzhang/paper/LPTN-cvpr21-paper.pdfcode: https://github.com/csjliang/LPTN本文是港理工&达摩院张磊团队在image-to-image translation方面继3DLUT之后的又一力作。本文创造性的将拉普拉斯金字塔与深度学习进行了结合,对于拉普拉斯金字塔的分离、重建特性与image-to-ima.原创 2021-04-25 19:29:50 · 1014 阅读 · 0 评论 -
RealSR性能大幅提升,旷视科技+快手科技+电子科大联合提出“先发散再收敛”的D2CSR
编辑:Happy首发:AIWalker本文是旷视科技&快手科技&电子科大联合提出的一种新颖的图像超分框架。本文从图像超分“病态”特性出发,提出一种两阶段的超分框架。在divergence阶段,本文构建了一种新颖的树状深度网络用于输出具有发散性质的预测结果,为达到该效果,引入triplet损失;在convergence阶段,我们采用数据自适应加权方式对divergence分支的结果进行融合得到最终的输出。此外,本文还提出了一个新的用于x8超分任务的Real-world数据集D2CR.原创 2021-04-24 17:45:59 · 412 阅读 · 0 评论 -
Attention in Attention for Image Super-Resolution
编辑:Happy首发:AIWalkerpaper: https://arxiv.org/abs/2104.09497code: https://github.com/haoyuc/A2N(尚未开源)本文是亚马逊&悉尼大学大研究员在注意力机制在图像超分中应用探索。本文从“为什么注意力会起作用,它又是如何起作用”两个问题出发,从理论&实验角度给出了解释,然后针对“图像超分中并非所有注意力都有正向作用”问题提出了注意力丢弃模块并用于构架图像超分。最后,作者通过实验证实:所提方案可以.原创 2021-04-24 17:45:18 · 2196 阅读 · 0 评论 -
大幅降低计算&性能有提升,华为诺亚从频率角度出发提出频率感知动态超分网络FADN
编辑:Happy首发:AIWalker本文是华为诺亚、清华大学以及悉尼大学提出的一种用于高效图像超分的频率感知动态网络。本文从图像的不同频率成分复原难度、所需计算量等角度出发,提出了一种动态调节不同频率特征计算分支的模块并由此引出了本文所提方案FADN。所提方法可以大幅降低模型性能,且保持超分性能不变,甚至有些微提升。比如,所提方法可以减少50%EDSR计算量,同时还有0.02~0.05dB的性能提升。Abstract深度学习技术已成为图像超分的主流方案,为得到更好的视觉感知质量与重建效果.原创 2021-04-24 17:44:29 · 478 阅读 · 0 评论 -
CVPR2021 | 性能不变,计算量减少41%,国防科大提出加速图像超分高效推理的SMSR
编辑:Happy首发:AIWalkerpaper:https://arxiv.org/abs/2006.09603Code: https://github.com/LongguangWang/SMSR本文是国防科大王龙光等人在图像超分高效推理方面的尝试,已被CVPR2021接收。本文从特征稀疏性、不同区域的重建需求角度出发,提出了一种自适应学习空域掩码与通道掩码的方案,并利用该掩码构建稀疏卷积,在保持模型性能不变的同时,大幅减少模型的计算量。比如,在x2超分任务上,其计算量空域减少41%且性.原创 2021-04-17 06:23:41 · 1889 阅读 · 1 评论 -
CMDSR | 为解决多退化盲图像超分问题,浙江大学&字节跳动提出了具有退化信息提取功能的CMDSR
编辑:Happy首发:AIWalker本文是浙江大学&字节跳动在多退化盲图像超分方面的一次尝试。针对训练与测试时不同的退化偏移导致的模型性能下降问题,本文采用ConditionNet从输入图像提取关于退化信息的条件特征,然后根据该特征对后续的超分网络BaseNet的参数进行调整,最后参数调整后的BaseNet对输入图像进行处理得到最终的超分图像。无需关于退化的先验信息,所提方法可以自适应从不同退化数据中提取合适条件特征并生成令人满意的超分结果。Abstract尽管图像超分在单一退化.原创 2021-04-11 21:44:51 · 580 阅读 · 0 评论 -
ACNet:用于图像超分的非对称卷积(附实现code)
编辑:Happy首发:AIWalkerPaper:https://arxiv.org/abs/2103.13634Code:https://github.com/hellloxiaotian/ACNet本文是哈工大左旺孟老师团队在图像超分方面的最新工作,已被IEEE TSMC收录。本文将ACNet中的非对称卷积思想与LESRCNN进行组合,取得了更好的性能。由于作者尚未开源,故笔者进行了简单的复现,复现还是挺容易的,哈哈。Abstract本文提出了一种非对称CNN网络ACNet,它由非.原创 2021-04-05 21:05:59 · 2902 阅读 · 1 评论 -
46FPS+1080Px2超分+手机NPU,arm提出一种基于重参数化思想的超高效图像超分方案
编辑:Happy首发:AIWalker本文是ARM的研究员在大分辨率图像超分方面的一次探索,它将重参数化思想嵌入到图像超分结构中,并结合手机NPU硬件性能对现有超分的性能进行的对比分析。在Arm Ethos-N78 NPU的硬件性能(4-TOP/s)约束下,所提方法甚至能够以46fps速度(理论上)对1080p图像进行x2超分。该本文的思想非常简单,就是简单的把重参数化思想嵌入到类FSRCNN架构中即可;但这种方法就是这么的有效,属于推理端无损涨点吧。Abstract随着智能设备开始支持4.原创 2021-03-28 06:59:25 · 701 阅读 · 0 评论 -
CVPR2021|超分性能不变,计算量降低50%,董超等人提出用于low-level加速的ClassSR
编辑:Happy首发:AIWalker本文是深圳先进技术研究院孔祥涛、赵恒源、乔宇、董超等人在low-level领域关于超分网络加速的一次探索。它创新性的将分类与超分进行了融合,根据不同子块的复原难度自适应选择合适的超分分支以降低整体计算复杂度:复原难度低的平坦区域选择复杂度低的超分分支,复原难度高的纹理区域选择复杂度高的超分分支。在不降低超分性能的情况下,该方法可以最高可以节省50%的计算量。值得各位low-level领域的同学仔细研究一番。Abstract本文旨在加速超分模型在大图像(.原创 2021-03-28 06:57:11 · 1126 阅读 · 0 评论 -
CVPR2021|ACNet再进化,清华大学&旷视科技提出Inception类型的DBB
CVPR2021|ACNet再进化,清华大学&旷视科技提出Inception类型的DBBpaper: https://arxiv.org/pdf/2103.13425.pdfcode: https://github.com/DingXiaoH/DiverseBranchBlock本文是清华大学&旷视科技的丁霄汉博士在“过参数化”卷积方面继ACNet、RepVGG之后的又一次探索,它创造性的将Inception的多分支、多尺度思想与过参数化思想进行了一次组合,得到了本文所提出的DBB原创 2021-03-27 23:13:33 · 1048 阅读 · 0 评论 -
NTIRE2020感知极限超分竞赛PI指标冠军方案
编辑:Happy首发:AIWalker公众号链接:NTIRE2020感知极限超分竞赛PI指标冠军方案日期:2020-06-26【Happy导语】这是今年CVPR2020中关于图像超分的文章,不同于其他方法在网络架构或者数据增广方面进行改进,该文另辟蹊径从“损失函数”入手,针对已有GAN系列的损失函数展开并未并提出了改进点。所提方法取得了NTIRE2020感知极限超分竞赛LPIPS指标亚军、PI指标冠军。所以Happy非常建议各位图像复原领域的小伙们仔细研究一下这篇文章。另,文末附论文与cod.原创 2020-06-27 09:41:16 · 1525 阅读 · 0 评论 -
深度学习入门之池化层
# 深度学习入门之池化层 池化层是当前卷积神经网络中常用组件之一,它最早见于`LeNet`[^1]一文,称之为`Subsample`。自`AlexNet`[^2]之后采用Pooling命名。池化层是模仿人的视觉系统对数据进行降维,用更高层次的特征表示图像。 实施池化的目的:(1) 降低信息冗余;(2) 提升模型的尺度不变性、旋转不变性;(3) 防止过拟合。 池化...原创 2019-08-07 14:57:40 · 1407 阅读 · 0 评论 -
PolyNet A pursuit of structural diversity in very deep networks(翻译笔记)
PolyNet: A pursuitof structural diversity in very deep networks背景大量研究表明:提升CNN的深度和宽度是一种有价值的提升图像识别性能的方法。然而,在我们的研究中,我们发现:伴随着两个方向均存在一些困难。一方面,极深网络导致性能的收敛以及训练的困难提升;另一方面,拓宽网络将导致计算负担和内存需求。这些困难驱动我们探索结构灵活性,原创 2017-07-15 15:22:42 · 2719 阅读 · 2 评论