程序员深度学习

对抗训练在单图像超分辨率任务中非常成功，因为它可以获得逼真、高度细致的输出结果。因此，当前最优的视频超分辨率方法仍然支持较简单的范数（如 L2）作为对抗损失函数。直接向量范数作损失函数求平均的本质可以轻松带来时间流畅度和连贯度，。该研究聚焦于新型损失的形成，并基于已构建的生成器框架展示了其性能。研究者证明时间对抗学习是获得照片级真实度和时间连贯细节的关键。除了时空判别器以外，研究者还提出新型损失函数 Ping-Pong，该函数可以有效移除循环网络中的时间伪影，且不会降低视觉质量。

运动补偿和运动估计总结

1. 介绍这是Huawei Noah‘s Ark Lab在CVPR2021上的文章。他们针对于终端设备算力有限的条件下，提出了一种有效的视频降噪算法EMVD，其主要特点在于通过可学习的可逆变换，将图像的亮度和颜色信息，以及不同的频率信息进行分解，在变换域进行图像降噪处理；使用了三级结构，包括时域融合（temporal fusion）、空域降噪（spatialdenoising）、时空精修（spatio-temporal refinement）三个阶段，每级结构都有明确的任务和可解释性；使用很小.

1. 噪声介绍噪声是图像中不请自来的信号。当相机拍摄一个亮度十分均匀的区域时，相机输出的结果会不可避免地叠加一部分噪声。相机的输出信号=真实信号+噪声信号。由于真实信号的具体值是未知的，所以只能用多次测量的平均值来代替。用数学公式表示就是，在数码照相机和摄影机产品中，总的规律是光圈越小、（电子）快门越短、ISO越高，图像噪声就越大。2. 噪声类型高斯噪声 Gaussian，也称热噪声或约翰逊-奈奎斯特噪声。在电子系统中，自由电子的热运动是一种典型的高斯噪声源，其特点是在工作频段内，噪声的功.

1. 介绍在单张图片超分辨率(Single Image Super-resolution)的问题中，许多方法都采用传统的 Bicubic 方法实现降采样，但是这与现实世界的降采样情况不同，太过单一。盲超分辨率(Blind Super-resolution)旨在恢复未知且复杂的退化的低分辨率图像。根据其使用的降采样方式不同，可以分为显式建模(explicit modeling)和隐式建模(implicit modeling)。显式建模：经典的退化模型由模糊、降采样、噪声和 JPEG压缩组成。但是现.

重建视觉外观是色调映射的终极目标。色调映射算法在降低高动态图像(HDR)范围的同时着力保护捕捉到的原始图像的外观。色调映射算子分两种策略，一种是全局的，另一种是局部的。1. 全局映射算子每一个像素点将会根据它的全图特征和亮度信息进行映射，不管其空间位置几何。全局算子一个比较典型的例子就是色调曲线。全局色调映射在处理12位(12-bit)深度的图像的时候是完全OK的，当图像的动态范围特别高的时候，那就不行了。这是因为所有的像素点都采取同一种方式进行处理，根本就没有管它是在较亮区域还是较暗区域。这样的话，.

1. 介绍论文全名是《Efficient Video Compression via Content-Adaptive Super-Resolution》，作者全部来自麻省理工计算机科学与人工智能实验室（MIT CSAIL），这篇论文主要是使用视频超分辨率（video super-resolution）技术来完成视频压缩任务，从而应用于视频的传输（节省带宽）。2. 算法详解2.1 传统视频编码管线众所周知，将图像序列转成一个视频可以大大减少数据存储量（绝大部分情况）。但是，生成的视频如果要在网络上.

1. 介绍在这篇论文中，我们呈现了一种新的深度学习方法，零参考深度曲线估计，来进行微光图像增强。它可以在各种各样的灯光条件包括不均匀和弱光情况进行处理。不同于执行图像到图像的映射，我们把任务重新设定为一个特定图像曲线估计问题。特别地，提出的这种方法把一个人微光图像作为输入，并把产生的高阶曲线作为它的输出。然后这些曲线被用作对输入的变化范围的像素级调整，从而获得一个增强的图像。曲线估计是精心制定的以便于它保持图像增强的范围并保留相邻像素的对比度。 重要的是，它是可微的，因此，我们可以通过一个深度卷积神经网.

1. 注意机制可分为两种类型根据它们所适用的范围:通道注(CA)和空间注意(SA)。CA和SA可以进一步分为三个过程:squeeze:通过通道（CA）或空间区域（SA）从X中提取一个或多个统计量S的过程。统计量通过池化方法提取，SA可使用1X1的卷积。excitation:利用提取的统计数据，进行激励过程捕获通道(CA)或空间区域(SA)之间的相互关系，生成一个大小为1×1×C (CA)或H×W×1 (SA)。在所有的方法中，CA都使用两个全连接(FC)层，其瓶颈结构约简率为r。对于SA，使用一个.

1. 摘要众所周知，当图像超分的预假设退化模型与真实图像的退化方式不匹配时，模型的性能会出现性能下降，甚至负面效果现象。尽管已有集中退化模型考虑的额外的影响因素(比如模糊核以及程度)，但是它们仍然无法有效覆盖真实图像的多样性退化方式。为解决该问题，本文设计了一种更复杂但实用的退化模型，它包含对模糊、下采样以及噪声退化的随机置换(也就是说每种退化对应多种类型，且顺序会进行随机调整)。具体来说，模糊退化通过两个卷积(各向同性与各向异性高斯模糊)进行模拟；下采样从最近邻、双线性以及双三次插值中随机挑选；噪声.

1. 摘要随着智能设备开始支持4K、8K分辨率，图像超分已成为非常重要的计算机视觉问题。然后现有大多深度超分方案计算量非常大。本文提出了一种超高效超分方案(SESR)，它可以显著图像并降低计算复杂度。六个基准数据上的实验对比表明：所提SESR可以取得与SOTA模型相似或更好的图像质量同时仅需1/330~1/2不等的计算复杂度。因此，所提SESR可以在受限硬件平台上进行x2(即1080p超分到4K)与x4超分(即1080p超分到8K)。本文模拟了一个手机NPU的硬件性能水平对1080p图像进行x2和x4超

1. MIT5K数据集介绍MIT-Adobe FiveK是现在很多做图像增强（image enhancement）与图像修饰（image retouching）方面研究的人员经常会使用到的数据库。这个数据库中包含5000张dng格式的原始图片及分别由五个（A，B，C，D，E）专业修图人员手工修饰后的图片。关于该数据库的详细资料可以在：https://data.csail.mit.edu/graphics/fivek/上找到。2. 数据集下载博主目前也在作图像增强方面的算法，在该网站上面，虽然提供了原.

1. 简介谷歌去年发表了一篇文章：Unprocessing Images for Learned Raw Denoising，是关于如何构造逼近真实的数据来进行降噪的，在去年的文章里，研究者们主要是模拟了 ISP 中从 RAW 图到 sRGB 的过程，然后将 ISP 的过程逆转过来，从 sRGB 到 RAW，然后再在 RAW 域上添加噪声，从而构造出符合真实场景的噪声数据。今年谷歌又发表了一篇类似的文章，还是关于如何构造真实的仿真数据来做图像恢复，看来谷歌在构造数据这块已经做了很多的研究了，今年这篇文章

1. 摘要相比传统方法，受益于端到端训练，基于学习的图像超分方法取得了越来越好的性能(无论是性能还是计算效率)。然而，不同于基于建模的方法可以在统一的MAP框架下处理不同尺度、模糊核以及噪声水平的图像超分，基于学习的图像超分缺乏上述灵活性。​ 为解决上述问题，作者提出一种端到端可训练展开的网络，它集成了基于学习与基于建模的方法。通过half-quadratic splitting算法将MAP推理进展展开，通过固定次数的迭代求解数据子问题与先验子问题。上述两个子问题可以通过神经网络模块进行求解，从而得到.

1. 摘要当用于训练的数据与用于评估的数据相似时，机器学习技术最有效。这对于学习过的单图像去噪算法来说是正确的，这些算法应用于真实的原始相机传感器读数，但由于实际的限制，通常在合成图像数据上进行训练。虽然从合成图像推广到真实图像需要仔细考虑相机传感器的噪声特性，图像处理管道的其他方面(如增益、颜色校正和色调映射)常常被忽略，尽管它们对原始测量数据如何转换成最终图像有重要影响。为了解决这个问题，我们提出了一种通过反转图像处理管道的每个步骤来反处理图像的技术，从而使我们能够从普遍可用的互联网照片合成现实的原.

1. 摘要使用分治策略来处理SR-iTM问题；将其分成三个任务相关的子网络：图像重建子网络（image reconstruction subnet），细节恢复子网络 (detail restoration subnet)，局部对比度增强子网络(local contrast enhancement subnet)，从而学习到一组像素级的逐像素的1维可分离卷积用于复原细节，像素级的2维局部卷积核来用于对比度增强。此外，作者提出一种可增强细节信息的GAN loss，可同时增强细节恢复和对比度复原。2. 介绍.

1. 介绍视频防抖是指用于减少摄像机运动对最终视频的影响的一系列方法。摄像机的运动可以是平移（比如沿着x、y、z方向上的运动）或旋转（偏航、俯仰、翻滚）。对视频防抖的需求在许多领域都有。这在消费者和专业摄像中是极其重要的。因此，存在许多不同的机械、光学和算法解决方案。即使在静态图像拍摄中，防抖技术也可以帮助拍摄长时间曝光的手持照片。在内窥镜和结肠镜等医疗诊断应用中，需要对视频进行稳定，以确定问题的确切位置和宽度。同样，在军事应用中，无人机在侦察飞行中捕获的视频也需要进行稳定，以便定位、导航、目标.

1. 介绍论文的出发点是要发掘patch上的自相关分布，通过生成器G生成LR downsample后的版本和LR自己相应的patch在分布上更相似（通过D网络判别学到），从而学习出LR的降质过程，和ZSSR一样，这个工作也是在单图上进行训练和测试，不同的是，这里像ZSSR一样使用bicubic作为默认降质，而是利用GAN利用自身分布去学习自己降质的过程。其中G网络用来学习降采样，当G网络被训练好之后，可以获得降质的kernel参数，该参数可以被用来引导进行超分辨（类似于ZSSR）。论文提出的方法是ima.

1. 摘要现有的基于深度学习的图像修补方法在损坏的图像上使用标准卷积网络，使用卷积滤波器响应以有效像素以及掩蔽孔中的替代值（通常为平均值）为条件。 这通常会导致诸如颜色差异和模糊等伪影。 后处理通常用于减少这些工件，但代价很高，可能会失败。 我们提出使用部分卷积，部分卷积指的是卷积只在图片的有效区域进行(mask部分为0)，并且图片的mask会随着网络的层数加深不断迭代和收缩，也就是说带有mask的图片和mask均参与训练，取得了很好的效果。图. 从左到右，从上到下：2（a）：带孔的图像。 2（b）.

这是今年CPVR2020 一篇关于超分辨率的论文。这篇文章的创新点在于它将零次学习 （Zero-Shot Learning）和元转换学习（Meta Transfer Learning）进行结合，提出了新的超分算法 MZSR 。ZSSR最早被提出，将图像内部学习用于图像超分辨率。它能够很好地学习图像内部的先验信息，从而利用这些内部信息恢复图像高频信息。由于 ZSSR 从一张图像中学习，因此需要几千次的梯度更新迭代，也就是说测试时推理时间很长。而 MZSR则是通过元转换学习解决测试推理时间长的问题，MZS.

1. 导向滤波算法导向图像(Guidance Image) I，滤波输出图像(Filtering Input Image) p，均值平滑窗口半径 r，正则化参数 e。2. 快速导向滤波算法通过下采样减少像素点，计算mean_a & mean_b后进行上采样恢复到原有的尺寸大小。假设缩放比例为s,那么缩小后像素点的个数为N/s2，那么时间复杂度变为O(N/s2)3. 代码i...

1. 介绍这是一篇来自商汤（SenseTime）联合实验室的文章，文章涉及的模型在CVPR NTIRE 2019图像/视频增强竞赛中以较大优势取得第一名，且同时参加了视频超分、去模糊等四项任务。论文：https://arxiv.org/abs/1905.02716代码：https://github.com/xinntao/EDVR深度学习在计算机视觉的许多领域取得成功之后，一些学者、工程...

1. 背景现存在的方法主要是针对广泛使用的双三次退化而设计的，对于任意模糊核的超分辨率低分辨率图像仍然存在根本性的挑战。本文是一种基于双三次退化的深度SISR算法框架，利用即插即用框架对任意模糊核的LR图像进行处理，设计了一个新的SISR退化模型，以利用现有的盲去模糊方法进行模糊核估计。为了优化新的退化诱导能量函数，我们通过变量分裂技术推导了一个即插即用算法，该算法允许我们插入任何超分解先验...

1. 背景点播、直播行业的蓬勃发展，使用户生产视频(UGC)逐渐替代了专家生产和平台生产的方式，成为了主流。由于广大用户不可能全都具备专业素质和专业器材，其产出的视频往往质量较差，最明显的特征就是存在抖动。减少视频抖动有很多方法，包括使用专业摄影辅助器材，如三脚架使用带有物理防抖功能的镜头，如iphone使用带有实时防抖功能的软件使用Premiere，AfterEff...

1. 介绍图像去模糊一直以来都是计算机视觉和图像处理领域内的一个重要问题。给定一张因运动或失焦而模糊（由相机摇晃、目标快速移动或对焦不准而造成）的图像，去模糊的目的是将其恢复成有清晰的边缘结构和丰富真实的细节的图像。图像去模糊是从粗糙到精细（coarse-to-fine）的过程，在传统方法与基于深度学习的方法中，一般使用金字塔结构中不同分辨率逐渐去重建得到清晰的图像，这篇文章也是使用这样的方...

对于动态场景来说，从一组不同曝光的图像中生成高动态范围(HDR)图像是一个具有挑战性的过程。这个问题可以分为两个阶段:1)对齐输入的LDR图像，2)合并对齐的图像到HDR图像。方法主要分为两类：一种直接基于LDR对齐融合，一种是先通过相机响应函数线性化这些输入图像（一般就是一个单调的非线性函数），将LDR图像转为HDR域，然后在HDR域进行融合得到HDR图像。另外一种是直接基于LDR（...

目前图像去噪算法主要有下面几种方法：数据预处理网络结构多任务结合和先验1. 数据预处理1.1 RAW vs RGB现在越来越多的去噪方法应用于RAW域。RAW域与RGB域比起来，噪声模式更为简单，一般可以描述为泊松分布与高斯分布的叠加或者异方差高斯分布。从RAW到RGB会经过一系列ISP流程，如demosaic等，这些操作会使得噪声分布更加复杂，使其变得与空间位置和颜色相关。在以...

1. BM3D 算法简介BM3D是2007年TIP的文章，题目是Image denoising by sparse 3D transform-domain collaborative ltering，论文、项目的地址是http://www.cs.tut.fi/~foi/GCF-BM3D/，提供matlab代码。处理灰度图的BM3D以及它的变体CBM3D（彩色图）、VBM3D（时域）是图像去噪...

1. 摘要生成对抗网络（GAN）已经证明了恢复单图像超分辨率（SISR）的真实细节的潜力。 为了进一步提高超分辨率结果的视觉质量，PIRM2018-SR Challenge采用感知矩形来评估感知质量，例如PI，NIQE和Ma。 论文针对现有的方法不能直接优化一些无差异的感知度量问题，引入一个新的rank-content loss（内容排序损失）来优化感知质量，提出了具有Ranker（RankS...

1. PSNRPSNR（Peak Signal to Noise Ratio）峰值信噪比，一种全参考的图像质量评价指标。其中，MSE表示当前图像X和参考图像Y的均方误差（Mean Square Error），H、W分别为图像的高度和宽度；n为每像素的比特数，一般取8，即像素灰阶数为256. PSNR的单位是dB，数值越大表示失真越小。PSNR是最普遍和使用最为广泛的一种图像客观评价指标，然...