- 博客(44)
- 收藏
- 关注
RSS订阅原创 Video SR-2
一、Deep Video Super-Resolution Network Using Dynamic Upsampling Filters Without Explicit Motion Compensation （CVPR018 - DUF）1、出发点现有方法严重依赖于运动估计和补偿的准确性。2、主要工作本文提出了一种新型的端到端深度网络，它可以生成动态上采样滤波器和残差图像，残差图像依赖于每个像素的局部时空邻域来计算，以避免显式的运动补偿。3、网络结构多帧输入，含两个分支：过滤
2021-06-03 11:23:24
611
1
原创 Video SR-1
一、Video Super-Resolution With Convolutional Neural Networks （TIP2016）1、主要工作提出基于CNN的视频超分算法；提出三种结构，用来融合相邻的多帧信息；提出预训练方法，利用图像数据对VSR模型预训练；利用一种自适应运动补偿方案来处理视频中的快速运动物体和运动模糊；2、三种结构3、运动补偿（Motion Compensation）运动补偿的作用其实就是多个相邻帧的对齐。基于运动补偿算法，作者提出自适应运动补偿，用来解决大
2021-06-01 16:10:31
1040
原创 RealSR-SR with Multiple Degradations
目前超分在着重解决真实图像SR的问题。本文介绍的多种退化模型（Multiple Degradations）也是为了解决该问题。现实场景中的图像退化是更为复杂的，可能同时包含分辨率、噪声、模糊等问题。该类方法认为：真实数据的退化更为复杂，导致现有基于bicubic退化模型在真实数据上效果很差，所以可以通过考虑更复杂的退化，使模型能够应对更复杂的输入，以求在真实数据上获得更好地重建结果。因此，该类方法主要从以下两方面入手：设计更复杂的退化模型，让数据更接近于现实数据。设计更复杂的（鲁棒性更强的）重
2021-05-09 10:27:45
636
原创 RealSR真实场景超分
一、Camera Lens Super-Resolution本文主要解决RealSR的数据问题，通过控制镜头到物体的距离产生成对的真实数据（Real paired SR data）。（1）出发点现有的超分方法通常采用合成退化模型，如双三次（Bicubic）或高斯降采样。（2）主要工作本文主要从真实成对数据获取方面解决RealSR问题。为缓解现实成像系统中分辨率R和视场V之间的内在权衡，利用相机镜头的R-V退化，用于现实成像系统中的SR建模。创建City100数据集，包含两种新的获取LR-HR
2021-04-29 20:43:48
4124
1
原创 CVPR2020超分汇总
一、Image Super-Resolution with Cross-Scale Non-Local Attention and Exhaustive Self-Exemplars Mining（1）出发点：自然图像中不同区域会存在一些相似结构，当前模型忽略了图像中长距离的特征相似性。最近的一些研究通过探索非局部注意力模块成功地利用了这种内在特征相关性（如SAN中的非局部模块）。然而目前的深度模型都没有研究图像的另一个固有特性：跨尺度特征相关性。（2）主要贡献：提出跨尺度非局部(CS-N
2021-04-26 21:34:59
1361
原创 利用先验知识来约束和引导图像重建过程
一、低秩约束的图像非盲去模糊论文题目：Deep Non-Blind Deconvolution via Generalized Low-Rank Approximation1、退化过程非盲去模糊为模糊核已知。退化过程可以表示为：其中x表示target，k表示模糊核，y为退化的模糊图像。转到频域可以表示为：2、非盲去模糊去模糊的过程，实际是在求模糊核k的伪逆矩阵k*。如图所示，当模糊核为15x15时，伪逆矩阵为150x150，甚至更大，这样会导致计算量非常的大。对于这个大矩阵，利用SV
2020-08-18 10:50:51
2298
原创 python数据转换
1、numpy数组与tensor相互转换numpy转tensor：torch.tnesor( )tensor转numpy：tensor.numpy( )2、cpu和GPU数据转换转CPU：data.cpu( )转GPU：data.cuda( )3、数据类型转换numpy数据类型转换：numpy.astype(float32, int16…)，但是这样实际numpy数组的dtype并未改变，只有赋值，才能真正改变dtype数据类型。详见：https://blog.csdn.net/mi
2020-05-11 11:14:15
426
原创 python基础
1、元组和列表的区别元组与列表相同，也是容器对象，可以存储不同类型的内容。元组与列表有两个不同点。（1）元组的声明使用小括号，而列表使用方括号，当声明只有一个元素的元组时，需要在这个元素的后面添加英文逗号；（2）元组声明和赋值后，不能像列表一样添加、删除和修改元素，也就是说元组在程序运行过程中不能被修改。用于列表的排序、替换、添加等方法也不适用于元组，适用于元组的主要运算有元组的合并、遍历、...
2020-03-09 13:42:27
298
原创 SR网络设计
一、残差学习（1）全局残差学习CNN只需要学习LR和HR之间的高频残差，而避免学习完整的图片。由于大部分区域的残差接近于零，大大降低了模型的复杂度和学习难度。如VDSR，DRRN，MemNet，IDN。。。（1）局部残差学习局部残差学习是用来缓解网络深度增加带来的模型退化问题。如RCAN，EDSR二、递归学习为了在不引入大量参数的情况下实现更大的接受域（reception field）...
2020-02-03 12:01:03
2057
原创 SR综述--Loss function
损失函数（1） pixel loss包括L1 loss和L2 loss像素损失限制了生成的HR图像在像素值上与ground truth HR图像足够接近。与L1损失相比，L2损失对较大的误差不利，但对较小的误差有较大的容忍度。在实践中，L1损失相对于L2损失有更好的收敛性和更好的性能表现。然而，由于像素损失实际上并没有考虑到图像质量(如感知质量，纹理)，因此它常常缺乏高频细节，并且对...
2019-11-29 15:17:16
1420
1
原创 SR综述文章阅读--上采样--网络设计
一、四种上采样网络架构预先上采样：先利用插值法上采样到指定大小，再利用CNN学习LR与HR之间的映射。优点：（1）与传统方法相比，深度cnn只需要对粗图像进行细化，大大降低了学习难度；（2）可以采用任意大小和比例因子的插值图像作为输入；缺点：（1）预先上采样方法往往会带来一些副作用(例如噪声放大和模糊)；（2）而且由于大多数操作都是在更大的feature map中执行的，所以时间和...
2019-11-20 19:19:30
2108
转载 目标检测--NMS
NMS（non-maximum suppression）非最大值抑制，用于剔除图像中检出的冗余bbox。流程step-1：将所有检出的output_bbox按cls score划分（如pascal voc分20个类，也即将output_bbox按照其对应的cls score划分为21个集合，1个bg类，只不过bg类就没必要做NMS而已）；step-2：在每个集合内根据各个bbox的cls s...
2019-11-07 16:51:13
398
原创 MTCNN
MTCNN，Multi-task convolutional neural network（多任务卷积神经网络），将人脸区域检测与人脸关键点检测放在了一起，它的主题框架类似于cascade。总体可分为P-Net、R-Net、和O-Net三层网络结构。网络结构级联网络，分三部分，网络由简单到复杂，逐步细化检测框。三个任务，分类，边框回归和关键点坐标。P-Net是一个全卷积网络，只不过最后一步...
2019-11-06 21:50:16
247
原创 2019超分论文-Feedback Network for Image Super-Resolution
1、Feedback Network for Image Super-Resolution设计SRFBN来用高层信息细化低层信息，带约束的RNN中使用隐状态来实现这种反馈方式。反馈块（FB）用于处理反馈连接并生成强大的高层表示。所提出的SRFBN具有较强的早期重建能力，能够逐步生成最终的高分辨率图像。基于深度学习方法的好处主要来自于它的两个关键因素:深度和跳连接(residual or den...
2019-07-16 16:28:57
1298
原创 ACCELERATING MAGNETIC RESONANCE IMAGING VIA DEEP LEARNING
利用深度学习加速MRI本文是第一篇利用DL加速MRI的文章。CNN用来学习k空间全采样的高质量MRI与利用零填充的欠采样的MRI之间的映射。加速MRI主要有以下几种方法1)基于物理的快速成像序列2)基于硬件的并行成像3)基于降阶样本MR图像重建的信号处理。...
2019-07-01 11:06:23
642
原创 超分-wavelet
1、DWSR：Deep Wavelet Prediction for Image Super-resolution动机:大多数基于深度学习的图像超分辨率方法都是基于空间域数据，目的是将像素值重构为网络的输出。在本工作中，我们探讨了在SR任务中利用转换域数据的优点，特别是在捕捉图像中的更多结构信息以避免过多的人工痕迹。此外，基于VDSR和残差网在超分辨率任务中的良好性能，提出了一种用于超分辨率任...
2019-06-26 09:07:25
3081
原创 超分辨率：WDSR
WDSR为2018年超分冠军模型，模型与EDSR相比，主要有以下几点改进：（1）改变模型基本框架（2）增加channel个数（3）WN（权重归一化）权值归一化是神经网络中权值向量的重新参数化，实际就是重新定义权值w的大小和方向。由下图可以看出，新的w的大小等于g，方向与v一致。引入WN可以提高训练的学习效率(即10×)，提高训练和测试的准确性。详细介绍参见：https://blo...
2019-06-25 10:19:37
2336
2
原创 CVPR2018超分辨率论文介绍
1、Residual Dense Network for Image Super-Resolution（1）问题：大多数基于CNN的深度SR模型并没有充分利用原始低分辨率(LR)图像的层次特征，从而实现相对较低的性能。（2）解决方法：本文提出了一种新的残差密集网络(RDN)，充分利用了原LR图像的所有层次特征。提出了一种残差密集块(RDB)，它不仅可以通过连续内存(CM)机制读取前一个R...
2019-06-20 09:09:43
2119
原创 ECCV2018超分辨率SRFeat: Single Image Super-Resolution with Feature Discrimination
提出问题目前大多数超分辨率方法都是采用MSE均方误差，以获得小的psnr，但是这种方法很难捕捉图像之间的感知差异，相反，它更喜欢没有高频细节的模糊结果，因为最小化误差会使结果回归到可能解决方案的平均值（视觉感受是平滑，模糊）。之前的GAN-based SISR 方法：（1）SRGAN：使用感知损失和对抗性损失项来获得视觉上令人满意的结果；（2）Enhancenet: Single imag...
2019-06-16 19:32:02
1227
原创 ECCV2018超分辨率CARN：Fast, Accurate, and Lightweight Super-Resolution with Cascading Residual Network
本文提出一种轻量级级联残差网络，速度快，性能也还不错。提出问题尽管深度学习方法提高了SR图像的质量，但速度慢，并不适用于真实场景。从这个角度来看，设计适合实际应用的轻量级深度学习模型非常重要。一种方法是减少参数的数量，实现这一目标的方法有很多，但最简单和有效的方法是使用递归网络。例如，DRCN使用递归网络来减少冗余参数，而DRRN通过向DRCN添加残差体系结构来改进DRCN。与标准CNN相比...
2019-06-16 10:44:53
10865
原创 ECCV2018超分辨率MSRN：Multi-scale Residual Network for Image Super-Resolution
这篇文章主要创新点是：使用多尺度残差块充分提取图片特征问题（1）目前的研究倾向于使用更深层次的卷积神经网络来提高性能。但是随着网络深度的增加，训练过程中出现的问题越来越多，需要更多的训练技巧。导致很多方法难以复现；（2）特征利用不足，随着网络深度的增加，特征在传输过程中逐渐消失。如何充分利用这些特征，是网络重建高质量图像的关键；（3）可扩展性差；贡献提出了一种新的多尺度残差网络(MSR...
2019-06-14 16:46:39
5777
3
原创 ECCV2018超分辨率RCAN：Image Super-Resolution Using Very Deep Residual Channel Attention Networks
提出问题（1）更深层次的图像SR网络更难训练，仅仅通过叠加剩余块来构建更深层次的网络很难得到更好的改善。（2）低分辨率的输入和特征包含丰富的低频信息，而目前主流的基于cnn的方法对每个信道特征都一视同仁，缺乏跨特征信道的识别学习能力，阻碍了深度网络的表征能力。解决方法（1）文章提出了一种残差信道注意网络(RCAN)来获得非常深的可训练网络，同时自适应地学习更多有用的信道特征。（2）为了简...
2019-06-13 21:38:09
3163
原创 超分辨率重建（深度学习）2018年之前经典论文
SRCNNhttps://blog.csdn.net/Autism_/article/details/79401798FSRCNNhttps://blog.csdn.net/u010327061/article/details/80092262
2019-06-12 20:09:44
3346
1
原创 文本检测加识别：Mask TextSpotter
Framework（1）以特征金字塔网络(FPN)为骨干，提取feature map：自然图像中的文本大小各不相同。为了在所有尺度上构建高层次的语义特征图，我们使用了一个深度为50的ResNet[14]的特征金字塔结构[32]主干。FPN采用自顶向下的体系结构，融合了单尺度输入的不同分辨率特性，提高了精度，同时降低了边际成本。（2）区域建议网络(RPN)为生成文本建议（ROI）：RPN用于...
2019-05-28 20:00:47
1117
原创 词嵌入（word embedding）
1. 词汇表征在前面学习的内容中，我们表征词汇是直接使用英文单词来进行表征的，但是对于计算机来说，是无法直接认识单词的。为了让计算机能够能更好地理解我们的语言，建立更好的语言模型，我们需要将词汇进行表征。下面是几种不同的词汇表征方式：one-hot 表征：在前面的一节课程中，已经使用过了one-hot表征的方式对模型字典中的单词进行表征，对应单词的位置用1表示，其余位置用0表示，如下图所示：...
2019-05-28 10:15:00
1102
原创 RNN知识点复习
循环神经网络循环神经网络作为一种新型的网络结构，在处理序列数据问题上则不存在上面的两个缺点。在每一个时间步中，循环神经网络会传递一个激活值到下一个时间步中，用于下一时间步的计算。如下图所示：循环神经网络的前向传播：下图是循环神经网络结构图：穿越时间反向传播GRU单元门控循环单元（Gated Recurrent Unit, GRU）改变了RNN的隐藏层，使其能够更好地捕捉深层次连接...
2019-05-24 15:16:38
330
原创 文本检测：Arbitrary-Oriented Scene Text Detection via Rotation Proposals（RRPN）
本文提出了一种基于文本倾斜角信息的旋转区域建议网络(RRPN)。然后利用角度信息进行包围盒回归，使提案在方向上更准确地融入文本区域。针对文本区域分类器的特点，提出了旋转感兴趣区域(RRoI)池化层，将任意方向的建议映射到特征图中。整个框架建立在基于区域的体系结构之上，与以往的文本检测系统相比，保证了任意文本检测的计算效率。框架（1）VGG-16作为主干网络卷积产生feature map；（2...
2019-05-21 09:24:18
758
原创 R2-CNN文本检测（Rotational Region CNN）
总体框架文章利用Faster R-CNN作为基本框架。（1）使用RPN生成轴向对齐的包围框，包围着面向任意方向的文本；（2）对RPN提出的每一个文本框，用不同的pooled size ( 7 × 7, 11 ×3, 3 × 11 ) 进行池化，并利用连接的特征同时预测文本/非文本得分、轴向对齐框和倾斜最小面积框。（3）最后，使用倾斜非最大抑制来获得检测结果问题定义在ICDAR 201...
2019-05-20 16:43:50
1007
原创 论文阅读-Single-Shot Refinement Neural Network for Object Detection
two-stage 方法首先是候选区域的提取，然后是目标的分类和回归，这类方法的检测精度要好于 one-stage，但速度没有one-stage快；one-stage方法速度快，精度稍微差些，主要原因是 the class imbalance problem，即正负样本比例严重失调这篇论文实际就是将两者结合，主要就是增加了一个anchor细化的模块，一方面让anchor的质量更高，另一方面，两...
2019-05-16 18:41:01
224
原创 Focal Loss（RetinaNet）论文阅读
这篇论文提出了Focal Loss（焦点损失），通过改进损失函数，从而获得更好地检测模型和更高的检测精度。Motivation（1）要清楚两个名词的含义；hard example，表示硬实例，比如二分类，正例为1，负例为0，那么训练过程中，预测结果接近0.5的，称为硬实例，通过硬实例，模型能学到更多有用的信息。easy example，与上面相反；（2）传统one-stage相对于t...
2019-05-14 20:52:13
450
原创 论文阅读：Region Proposal by Guided Anchoring
论文题目：Region Proposal by Guided AnchoringarXiv: https://arxiv.org/abs/1901.03278简单介绍这篇论文主要是对RPN存在的缺点的改进，说是改进也不准确，因为两者的方法是有很大区别的，但他们做的工作时相同的，都是为了得到候选区域。。本篇论文提出来一种新的方法，不需要使用预先设定的anchor box论文介绍RPN的...
2019-05-10 16:20:48
314
原创 经典CNN模型特点总结
参考文章地址：https://www.cnblogs.com/skyfsm/p/8451834.html1、LeNet定义了CNN的最基本的架构：卷积层、池化层、全连接层。2、AlexNet特点：更深的网络数据增广技巧来增加模型泛化能力。用ReLU代替Sigmoid来加快SGD的收敛速度引入drop out防止过拟合Local Responce Normalization：局部...
2019-05-05 18:24:56
6425
原创 吴恩达深度学习知识点总结（复习）
逻辑回归1、逻辑回归为什么不采用平方损失？因为平方损失是一个非凸函数，利用梯度下降容易陷入局部最优2、sigmoid函数的导数3、逻辑回归参数更新过程逻辑回归损失（交叉熵损失）和平方损失，计算得到的梯度dw和db是一的，dw=x（A-Y），db=A-Y，如果借助向量运算，同时计算m个样本，那么梯度需要对m求平均。在编码时，还需要考虑维度信息，如转置。。浅层神经网络1、为什么要使用非...
2019-05-04 11:23:51
678
原创 深度学习常用优化方法
以下方法都是总结吴恩达深度学习课程的方法。（1）梯度下降batch-GD（size=m）：速度比较慢，但每一次都是最优方向；随机梯度下降（size=1）：不能用向量加速，相对来说速度慢，而且最后只会在最优值附近徘徊；mini-batch（size=16,32,64,128）：速度较快，虽然也会在最优值之间徘徊，但是可以调整学习率使得到达最优值；（2）动量梯度下降（Momentum）动量...
2019-05-04 10:40:27
776
转载 Batch Normalization
看到一篇很好地解释BN的文章，转载一下原文地址：https://www.cnblogs.com/skyfsm/p/8453498.html简介BNBN是由Google于2015年提出，这是一个深度神经网络训练的技巧，它不仅可以加快了模型的收敛速度，而且更重要的是在一定程度缓解了深层网络中“梯度弥散”的问题，从而使得训练深层网络模型更加容易和稳定。所以目前BN已经成为几乎所有卷积神经网络的标配...
2019-05-02 21:57:40
119
原创 目标检测--SSD
SSD应该是和YOLO v2同一时期的论文，相比YOLO v1和RCNN系列，SSD借鉴了两者的优点，并加入了多尺度来弥补yolo在小物体检测的不足，在精度和速度上都超越了yolo v1。主要改进在于两点：（1）多尺度feature map增加鲁棒性，既能检测大物体，又能检测小物体，增加精度；（2）yolo使用全连接来预测，但是SSD采用卷积，保证速度。。网络结构1、base networ...
2019-05-01 17:15:12
238
原创 目标检测YOLO系列论文对比
yolo相对于R_CNN系列论文，创新之处在于不再需要候选区域，直接端到端，利用回归的思想，直接回归出边框和类别，大大加快了速度，同时精度也挺高。。YOLO v1...
2019-04-30 10:41:11
1793
原创 目标检测R-CNN系列对比
这里主要介绍一下R-CNN系列论文的大致思路。。包括训练的步骤，预测的步骤，以及每篇论文的新颖之处。R-CNN下面是r-cnn的流程图：训练过程1、输入一张带标签的图片，利用select-search方法，得到候选区域（region propossals，大约2000个）2、对每一个region propossal ，利用仿射图像扭曲（affine image wraping），将这...
2019-04-26 16:43:30
564
原创 快速排序并行实现MPI
简介常规的快速排序，先在数组中选取一个基准点，将数组分区为小于基准点和大于基准点（相同的数可以到任一边），对分区的子数组递归的执行分区的操作，当子数组长度为1时退出递归。此时数组就完成了排序过程。对快排的过程分析可以发现，分区以及对子数组排序的过程均可以并发执行，这里首先对数组进行分区，生成分区数组，为了保证不同分区不受到影响需要先完成分区再进行排序。处理器个数：4数组长度：1000具体...
2019-04-26 15:34:46
7790
6
空空如也
空空如也
TA创建的收藏夹 TA关注的收藏夹
TA关注的人