~~~超分辨率重建~~~
文章平均质量分 51
NANCYGOODENOUGH
这个作者很懒,什么都没留下…
展开
-
2021-11-10-超分辨率中的损失函数
1.pixel loss与 L1 损失相比,L2 损失惩罚较大的错误,但对小错误的容忍度更高。 在实践中,L1 损失表现出比 L2 损失 [30]、[33]、[121] 更好的收敛性。由于 PSNR 的定义(第 2.3.1 节)与像素差异高度相关,并且最小化像素损失直接最大化 PSNR,因此像素损失已成为该领域使用最广泛的损失函数。 然而,由于像素损失实际上并没有考虑图像质量(例如,感知质量[31]、纹理[10]),它通常缺乏高频细节,产生过度平滑的纹理[27],[31]、[62]、[74]。.原创 2021-11-10 21:41:57 · 4052 阅读 · 0 评论 -
3-12-基于非成对图像的弱监督去雾框架
转载 2021-03-15 10:13:02 · 419 阅读 · 0 评论 -
3-3-Dense Contrastive Learning for Self-Supervised Visual Pre-Training(arXiv2020)
DenseCL:自监督视觉预训练的密集对比学习本文提出一种像素级的自监督学习方法,在目标检测,语义分割和实例分割任务上优于MoCov2,代码即将开源!大多数现有的自监督学习方法都是针对图像分类进行设计和优化的。由于图像级预测和像素级预测之间的差异,这些预训练模型对于密集的预测任务可能不是最佳的。为了填补这一空白,我们旨在设计一种有效,密集的自监督学习方法,该方法通过考虑局部特征之间的对应关系,直接在像素(或局部特征)级别上起作用。我们提出了密集的对比学习,该学习通过在输入图像的两个视图之间的像.原创 2021-03-03 20:24:08 · 560 阅读 · 2 评论 -
3-3-Pretrained Image Processing Transformer(arXiv2020)无代码
原文链接:https://blog.csdn.net/zandaoguang/article/details/110729885华为、北大、悉大以及鹏城实验室近期提出了一种新型预训练 Transformer 模型——IPT(Image Processing Transformer),用于完成超分辨率、去噪、去雨等底层视觉任务。该研究认为输入和输出维度相同的底层视觉任务更适合 Transformer 处理。IPT 具备多个头结构与尾结构用于处理不同的任务,不同的任务共享同一个 Transformer转载 2021-03-03 09:46:20 · 2085 阅读 · 3 评论 -
2-27-Exploring Cross-Image Pixel Contrast for Semantic Segmentation(arxiv2021)有代码
原文链接: http://www.myzaker.com/article/60348715b15ec0509c7170d3/在这篇论文中,研究者提出了一种新的、全监督语义分割训练范式「像素对比学习」,强调利用训练集中、跨图像的像素 - 像素对应关系来学习一个结构化的特征空间,用来替代传统的、基于图像的训练范式。论文地址:https://arxiv.org/pdf/2101.11939.pdf代码地址:https://github.com/tfzhou/ContrastiveSeg当前,语义分转载 2021-03-02 21:49:13 · 3796 阅读 · 4 评论 -
2-22-Contrastive Transformation for Self-supervised Correspondence Learning(AAAI2021)有代码
自监督对应学习的对比转换,Contrastive Transformation for Self-supervised Correspondence Learning(AAAI2021)source code and pretrained model :https://github.com/594422814/ContrastCorr【什么是对应学习?Correspondence learning?】Temporal correspondence task: video obj...原创 2021-03-02 21:12:32 · 480 阅读 · 0 评论 -
2-19-RGB色彩空间存在的缺点
出自论文 MAST: A Memory-Augmented Self-Supervised Tracker(CVPR2020)Lab颜色模式是以一个亮度分量baiL(Lightness),以及两个颜色分量a与b来表示颜色的。其du中,L的取值范围zhi为0~100,a分量代表由绿色到红色的光谱变化,而b分量代表由蓝色到黄色的光谱变化,且a和b分量的取值范围均为-120~120。Lab颜色模式是Photoshop内部的颜色模式。由于该模式是目前所有模式中色彩范围(称为色域)最广的颜色模式,它能毫无..翻译 2021-02-19 16:28:25 · 1836 阅读 · 0 评论 -
2-14-Multiple Exemplars-based Hallucination for Face Super-resolution and Editing(ACCV2020)
Multiple Exemplars-based Hallucination for Face Super-resolution and Editing(ACCV2020)做什么任务?-人脸超分(general SR process as ”face/facial hallucination”)和人脸编辑(”face editing” to the task where new features are injected)人脸编辑的传统做法/本文做法:条件GAN通过修改预先定..原创 2021-02-14 09:39:18 · 145 阅读 · 0 评论 -
2-10-Super-resolution from Internet-scale Scene Matching(ICCP2012)
用于超分的一个数据集 Sun80出自这篇文章原创 2021-02-10 20:03:25 · 266 阅读 · 0 评论 -
2-10-对于SISR的定义
Super-resolution (SR) refers to the task of restoring high-resolution images from one or more low-resolution observations of the same scene.According to the number of input LR images, the SR can be classified into single image super-resolution (SISR) an.原创 2021-02-10 16:56:36 · 730 阅读 · 0 评论 -
2-10-基于参考的图像超分辨率重建数据集构造
Landmark image super-resolution by retrieving web images.IEEE TIP, 22(12):4865–4878, 2013.Learning Cross-scale Correspondence and Patch-based Synthesis for Reference-based Super-Resolution(BMVC2017)CrossNet An End-to-end Reference-based SR networ原创 2021-02-10 11:41:34 · 825 阅读 · 0 评论 -
1-27-Codebook
作者:MQLhhhh 链接:https://www.zhihu.com/question/274833068/answer/433698192 来源:知乎Codebook类似于一张表,一本词典,或者主成分分析里面的主成分向量。Codebook是codeword的集合,就像词典是词语的集合一样。有了词典之后,对于一段英文短文中的每个词语,我们可以用“第m页 第n个词”这样的形式去存储而不需要存储完整的拼写,这对于数据压缩和聚类分析都是有利的。构建了M个codebooks, 每本codebook里有K.转载 2021-01-27 10:24:46 · 271 阅读 · 0 评论 -
2021-01-26Taming Transformers for High-Resolution Image Synthesis(arXiv2020)(有代码)
转自 https://blog.csdn.net/amusi1994/article/details/112301258---代码链接 https://github.com/CompVis/taming-transformers项目主页:https://compvis.github.io/taming-transformers/VQGAN——利用基于CNN的有效归纳偏置,并结合Transformer结构的表达能力CNN也具有平移不变性和局部敏感性的归纳偏置。但是,后者也决定了卷积神经网络只能转载 2021-01-26 23:37:18 · 3957 阅读 · 4 评论 -
2021-01-14 Transformer理解
Transformer理解https://zhuanlan.zhihu.com/p/51089880https://zhuanlan.zhihu.com/p/48508221https://blog.csdn.net/zhouchen1998/article/details/107006263https://www.jiqizhixin.com/articles/2020-06-28-8翻译 2021-01-14 17:50:27 · 114 阅读 · 0 评论 -
10/13 Total variation loss 全变分
全变分在图像处理中最有效的应用为图像去噪和复原.受噪声污染的图像的总变分比无噪图像的总变分明显的大。限制总变分就会限制噪声。用在图像上,total variation loss可以使图像变得平滑。它基于这样的原理:具有过多和可能是虚假细节的信号具有高的总变分,即,信号的绝对梯度的积分是高的。根据该原理,减小信号的总变分,使其与原始信号紧密匹配,去除不需要的细节,同时保留诸如边缘的重要细节。图片中相邻像素值的差异可以通过降低TV loss来一定程度上解决。比如降噪,...转载 2020-10-13 16:41:53 · 2780 阅读 · 2 评论 -
10/11 理解模糊核
转载 2020-10-11 16:56:56 · 1520 阅读 · 1 评论 -
9/7(CVPR18)Towards Faster Training of Global Covariance Pooling Networks by Iterative Matrix Square
不断学习得到一个表达能力强的feature,表示图像时候做了个全局pooling,相当于取了一个均值,从统计的意义上说均值只是一阶的信息。深度分类网络主要分为两个部分:特征提取和分类器。无论是VGG还是GoogleNet,后来的Resnet、Densenet,仔细观察可以发现,无论设计了多么性能优异的网络,在连接分类器之前,一般都连接了一个Pooling层,如下表所示:无论是Average Pooling也好,还是Max Pooling也好,终究使用的是关于feature的一阶信息。..翻译 2020-09-07 09:39:35 · 561 阅读 · 0 评论 -
8/30 Hourglass网络原理
采用hourglass网络的优点在于物体特征点可能出现在网络的不同层,每一个top-down到bottom-up的结构都是一个stacked hourglass模块。堆叠hourglass 网络是个递归的结构,输入从左到中间,维度增加,特征map的大小变小,从中间到右,维度减少,特征map变大,即C1嵌套C2,C2嵌套C3,依次类推,,,C5,C6, C7是residual模块串联,总网络是4层的嵌套。...翻译 2020-08-30 15:01:05 · 850 阅读 · 1 评论 -
8/29 Hourglass网络结构
with slim.arg_scope(hourglass_arg_scope_tf()): # D1 net2 = slim.conv2d(inputs, 64, (7, 7), 2, scope='conv2-1') net2 = bottleneck_module(net2, out_channel=128, res=128, scope='bottleneck2-1') ...原创 2020-08-29 22:07:45 · 274 阅读 · 0 评论 -
8/29 BatchNorm
BatchNorm有什么作用?需要对数据做归一化,因为深度神经网络主要就是为了学习训练数据的分布,并在测试集上达到很好的泛化效果,但是,如果我们每一个batch输入的数据都具有不同的分布,显然会给网络的训练带来困难。另一方面,数据经过一层层网络计算后,其数据分布也在发生着变化,此现象称为Internal Covariate Shift,会给下一层的网络学习带来困难。batchnorm直译过来就是批规范化,就是为了解决这个分布变化问题。为了减小InternalInternal CovariateC转载 2020-08-29 22:04:54 · 144 阅读 · 0 评论 -
8/24 (CVPR2018) Non-local Neural Networks
https://zhuanlan.zhihu.com/p/33345791https://zhuanlan.zhihu.com/p/52510471什么是local 和 non-local ?Local这个词主要是针对感受野(receptive field)来说的。以卷积操作为例,它的感受野大小就是卷积核大小,而我们一般都选用3*3,5*5之类的卷积核,它们只考虑局部区域,因此都是local的运算。同理,池化(Pooling)也是。non-local指的就是感受野可以很大,而不是一个局部领域翻译 2020-08-24 16:05:47 · 745 阅读 · 0 评论 -
8/21 (CVPR2011) Internal Statistics of a Single Natural Image
这篇文章是CVPR2011年关于单张自然图像自相似的文章。Internal Statistics of a Single Natural Image自相似性就是 图像patch会在自身图像或者跨尺度图像中重复出现。这篇文章主要是对自相似的一个具体的证明。对于图像中的每一个patch,用parzen窗概率密度估计 以dist为半径的区域Ndist中的密度然后对具有相同梯度的patch计算了一个平均密度最后计算在dist范围内,计算NN(最邻近neighbor个数 就是最相似patc原创 2020-08-21 20:42:41 · 651 阅读 · 0 评论 -
8/20 (ICCV2009)Super resolution from a single image
Classical SR 的过程, 即利用多张低分辨率图像(subpixel misalignment)的相同位置的patch 来拟合成高分辨率图像中的对应区域。对于低分辨率图像中的一点, 可以找到高分辨率图像的一个 patch 进行对应。 该过程暂且可以写成一个线性的约束表达式:当这些区域之间有重叠的时候,就可以通过联立方程求解了。这个就是Classical SR的一般性求解过程,这里需要多张低分辨率图像。加上该文章提出的自相似性,就可以只用单张的低分辨率图像了:对于低分辨图像中的每个pa..原创 2020-08-20 16:43:30 · 322 阅读 · 0 评论 -
8/20 subpixel misalignment
subpixel misalignment may appear in some local areas翻译 2020-08-20 16:23:08 · 127 阅读 · 0 评论 -
8/19 (CVPR2020) Robust Reference-based Super-Resolution with Similarity-Aware Deformable Convolution
Abstract:本文为基于参考图像的超分方法提出了一个参考图像对齐特征提取网络(Similarity Search and Extraction Network)传统方法是在参考图像上用暴力搜索或者光流估计寻找与目标图像的最佳匹配位置,本文方法采用端到端的训练方法没有额外的监督或者大的计算量。本文提出的模型不仅可以预测最佳的匹配位置,而且可以知道最佳匹配的关联。这使得本文方法对不相关的参考图像更加鲁棒(RefSR性能退化存在的主要问题)。如果没有参考图像,可以利用self-similari..原创 2020-08-20 11:22:48 · 2401 阅读 · 4 评论 -
8/19 仿射变换
翻译 2020-08-19 10:30:33 · 93 阅读 · 0 评论 -
8/19 高级特征 低级特征
线性组合是一阶特征经过n次有效的线性组合形成n阶特征,这里有效的组合,比如线性-线性组合,只能算要一个有效的线性组合,线性-非线性-线性,这样算两个有效的线性组合。如何说高阶特征,可以理解为经过多次线性-非线性-线性操作之后形成的特征,为高度抽象特征。...翻译 2020-08-19 09:54:55 · 2180 阅读 · 0 评论 -
8/17 (arXiv2020) Feedback Graph Attention Convolutional Network for Medical Image Enhancement
Q1: 图像增强是指什么?图像在环境,光线的影响下,造成图像模糊不清晰,对比度低,图像增强的目的就是 利用某种手段提高图像的对比度,突出图像中人物或物体,有利于后边的识别等处理。Q2:自相似先验知识绿色的三个框,场景内容一样,分辨率不一样蓝色的三个框,分辨率一样,但是某些区域在这张图像有,另一张图像没有,就是不同的位置丢失信息不一样。自相似性作为约束做图像超分。本文方法将先验知识放入网络中,构造图卷积神经网络,自己学习自相似先验知识(pach之间的相似性以及相似性程度)本文提原创 2020-08-18 15:17:53 · 322 阅读 · 0 评论 -
8/18 非局部均值去噪(NL-means)
基本思想是:当前像素的估计值由图像中与它具有相似邻域结构的像素加权平均得到翻译 2020-08-18 14:59:18 · 285 阅读 · 0 评论 -
7/30 图像噪声
什么是图像噪声?噪声在图像上常表现为一引起较强视觉效果的孤立像素点或像素块。一般,噪声信号与要研究的对象不相关,它以无用的信息形式出现,扰乱图像的可观测信息。通俗的说就是噪声让图像不清楚。平滑/模糊(Smooth/Blur)是图像处理中最简单和常用的操作之一,使用该操作的原因之一就为了给图像预处理时候降低噪声。图像平滑处理往往使图像中的边界、轮廓变得模糊,原因是因为图像受到了平均或积分运算,从频率域来考虑,图像模糊的实质是因为其高频分量被衰减。...翻译 2020-07-30 12:05:15 · 182 阅读 · 0 评论 -
7/11 超分为什么是ill-posed?
转载 2020-07-11 10:03:38 · 372 阅读 · 1 评论 -
6/30 latent
https://www.zhihu.com/question/306016801?sort=created转载 2020-06-30 21:23:14 · 143 阅读 · 0 评论 -
6/17 Deep Face SR with Iterative Collaboration between Attentive Recovery and Landmark Estimation
CVPR2020 Deep Face SR with Iterative Collaboration between Attentive Recovery and Landmark EstimationAttention恢复与关键点估计之间具有迭代协作的深度人脸超分辨率Abstract现有方法无法充分利用先验知识,因为人脸先验信息(例如关键点 component map)是由低分辨率或粗略的超分辨图像估计的,这可能是不准确的,因此会影响超分性能。在这篇文章中,作者提出一种在这两个循环网络原创 2020-06-17 23:12:22 · 1682 阅读 · 5 评论