论文
文章平均质量分 74
keep--learning
行则将至
展开
-
金字塔特征融合
金字塔特征融合;多尺度特征融合原创 2023-05-11 10:32:12 · 710 阅读 · 0 评论 -
论文阅读——Hourglass Attention Network for Image Inpainting
网络由三个部分构成:CNN 编码器、CNN 解码器和沙漏注意力模块。沙漏注意力模块包含特征编码和特征解码两个过程,编码过程和解码过程由多层次的注意力块完成。在编码过程中patch的大小分别为1,2,4,8。沙漏注意力模块可以有效地利用多尺度的特征信息,同时降低了计算的复杂度。作者在softmax后引入了拉普拉斯先验以反映特征之间距离对注意力得分的影响。损失主要由重构损失(L1)、感知损失、风格损失和对抗性损失四个损失构成。每一个注意力块包含两个部分:拉普拉斯注意力层和前馈网络。原创 2023-05-09 18:09:28 · 204 阅读 · 1 评论 -
论文阅读——OMNI-DIMENSIONAL DYNAMIC CONVOLUTION(ICLR 2022)
的基础上,将注意力权重扩展到卷积核空间位置、输入通道、输出通道以及卷积核个数四个维度。ODconv在之前动态卷积(图中,GAP为全局平均池化,为卷积核每个位置的权重,原创 2023-04-09 16:54:00 · 414 阅读 · 1 评论 -
论文阅读——Dynamic Convolution: Attention over Convolution Kernels
的基础上进行改进的。对CondConv生成权重部分进行改进,用SE(将最后的sigmod替换成softmax)注意力生成不同卷积核的权重。动态卷积不是每层使用单个卷积核,而是根据输入相关的注意力动态聚合多个并行卷积核。原创 2023-04-04 10:31:23 · 94 阅读 · 1 评论 -
论文阅读——CondConv: Conditionally Parameterized Convolutions for Efficient Inference[2019-NIPS]
条件参数化卷积(CondConv),其实质就是将每个样本的卷积核用一组卷积核的线性组合来代替。在测试过程中,卷积核W的参数是固定的,改变的是权重α,从而实现动态卷积。得到,主要包括全局平均池化、全连接层、Sigmoid激活函数三个操作。其中,n为卷积核的个数(文章成为专家个数),其中,R为学习路由权重的矩阵。原创 2023-03-31 15:05:49 · 171 阅读 · 1 评论 -
论文阅读——Dual-path Image Inpainting with Auxiliary GAN Inversion
2022CVPR 2022本文创新点:利用GAN的逆映射提取破损图像的潜在编码,并用预训练的GAN提取相应的语义特来征辅助图像的修复。原创 2023-01-31 17:22:10 · 405 阅读 · 3 评论 -
论文阅读——Context-Aware Image Inpainting with Learned Semantic Priors
网络结构。原创 2023-02-11 15:29:34 · 220 阅读 · 1 评论 -
论文阅读——Bridging Global Context Interactions for High-Fidelity Image Completion
2022CVPR 2022网络结构网络分为粗修复和细修复两个阶段。粗修复阶段主要使用限制性CNN提取token,并使用transformer获得全局信息。细修复阶段主要使用注意力感知层(ALL)自适应得平衡可见内容和生成内容的之间的注意力。原创 2023-01-31 17:39:56 · 866 阅读 · 1 评论 -
论文阅读——MISF:Multi-level Interactive Siamese Filtering for High-Fidelity Image Inpainting
在传统图像修复模型中,预测核模型是一类经典有效的模型(基本思想是一个像素点通过其周围的像素进行线性加权得到新的像素点),并且其不会受到上述问题的困扰。在图像修复任务中,深度学习模型主要面临的问题:由于训练模型需要大量的数据,这些数据缺失区域的形状可能不同,背景也多种多样。这种方法只适用于缺失区域比较小的图像,当缺失区域比较大时,远离缺失区域边界的像素将无法修复,因为大的缺失区域破坏了局部结构。理论上对多层特征都进行过滤的效果会更好,然而每一个预测核都要通过一个专属的网络进行预测,计算量会增大。原创 2023-01-31 17:36:45 · 676 阅读 · 0 评论 -
论文阅读——Generating Diverse Structure for Image Inpainting With Hierarchical VQ-VAE
本文创新点:网络分为两个阶段,第一阶段为粗修复阶段,利用条件自回归网络生成多样性的结构特征,第二阶段为细修复阶段,利用结构对纹理进行修复。分层VQ-VAE只在训练过程中使用。分层VQ-VAE在VQ-VAE的基础上将全局信息和局部信息分开建模,top level关注图像的全局特征(结构),bottom level关注图像的局部特征(纹理)。预训练的分层VQ-VAE用来计算两个特征损失。结构生成器Gs 使用自回归网络来在离散结构特征上形成条件分布。然后从分布中抽样可以产生不同的结构特征。自回归网络令P(x) 为原创 2023-01-31 17:32:26 · 473 阅读 · 1 评论 -
论文阅读——Parallel Multi-Resolution Fusion Network for Image Inpainting
原文链接:2021ICCV 2021本文创新点:提出了一种并行多分辨率的图像修复网络,低分辨率分支提取图像结构特征,高分辨率分支提取图像纹理特征,并使用掩码感知融合模块和注意力引导融合模块进行特征融合。原创 2023-01-31 17:27:01 · 259 阅读 · 1 评论 -
论文阅读——MAT: Mask-Aware Transformer for Large Hole Image Inpainting
原文链接:2022CVPR 2022。原创 2023-01-29 21:49:51 · 2106 阅读 · 5 评论 -
论文阅读——UCTGAN: Diverse Image Inpainting based on Unsupervised Cross-Space Translation
本文的多样性是由实例图像保证的,相当于在原有的gt基础上,加了一个额外的标签;而transformer中的多样性是通过采样实现的,以p-vqvae为例,从码本中进行特征替换时,选择可能性最大的K个,根据权重随机采样一个进行替换,然后重新计算注意力,再进行采样。原创 2023-01-29 21:02:31 · 303 阅读 · 1 评论 -
论文阅读——CTSDG:Image Inpainting via Conditional Texture and Structure Dual Generation
本文创新点: 网络主体由两个自编码器网络组成,并用跳跃连接将两部分连接起来。解码器输出的纹理特征图记为,结构特征图记为,则控制纹理信息集成程度的软门控可以用下式表示:其中,为按通道拼接,为卷积核为3的卷积层,为Sigmoid激活函数。则融合后的结构特征为其中,为零初始化训练参数。同理,则融合后的纹理特征为最后,将融合后的特征按通道拼接,首先,计算特征图中patch之间的相似度,然后通过softmax得到注意力分数,然后,进行特征替换重构特征图时,使用四组不同扩张率的扩张卷积层来捕捉多尺度语义特征:其中,为扩原创 2023-01-29 20:55:49 · 1266 阅读 · 1 评论 -
论文阅读——CR-Fill: Generative Image Inpainting with Auxiliary Contextual Reconstruction
原文链接:本文创新点:提出了一个辅助上下文重建任务(训练CR loss),训练网络学习已知区域和缺失区域之间patch的相似性。原创 2023-01-29 20:45:59 · 831 阅读 · 0 评论 -
论文阅读——Free-Form Image Inpainting with Gated Convolution
原文链接:Free-Form Image Inpainting with Gated Convolution (ICCV 2019 oral). Yu, J., Lin, Z., Yang, J., Shen, X., Lu, X., & Huang, T. S. [Paper][Code][Project]本文的创新点:网络在《Generative Image Inpainting with Contextual Attention》基础上,将普通的卷积都替换成门控卷积。原创 2022-12-13 20:49:39 · 321 阅读 · 1 评论 -
论文阅读——Incremental Transformer Structure Enhanced Image Inpainting with Masking Positional Encoding
本文创新点:使用transformer对图像结构进行修复,作为修复图像的辅助信息;发表在2022CVPR原创 2022-12-12 20:13:07 · 1037 阅读 · 0 评论 -
论文阅读——Reduce Information Loss in Transformers for Pluralistic Image Inpainting-CVPR 2022
为commitment loss,主要是约束encoder的输出和embedding空间保持一致,以避免encoder的输出变动较大(从一个embedding向量转向另外一个)。Transformer的输入是encoder输出的特征,而不是离散的token,输出是masked token属于码本中向量的概率,目的是避免量化引入信息损失。个patch(r为patch的大小,默认为8),然后将每个patch展平,并投影到一个特征向量中。中提取多尺度特征图。为特征向量的个数,γ为衰减参数,实验中设为0.99。原创 2022-11-20 11:00:36 · 993 阅读 · 1 评论 -
论文阅读——From Image to Imuge: Immunized Image Generation
本文创新点:本文提出一种图像自恢复技术(Imuge)。原创 2022-11-14 20:27:38 · 665 阅读 · 1 评论 -
论文阅读——Distillation-guided Image Inpainting
原文链接:本文创新点:提出了一种基于知识蒸馏的修复方法,构建辅助网络(重构图像)为修复网络提供监督信号。原创 2022-11-06 22:49:11 · 276 阅读 · 1 评论 -
论文阅读——Learning to Incorporate Structure Knowledge for Image Inpainting
原文链接:主要思想:训练一个生成器,同时修复破损的图像和相应的结构(边缘 和梯度),并用结构特征指导图像修复。原创 2022-11-06 22:03:08 · 257 阅读 · 3 评论 -
论文阅读——Multi-Scale Image Contextual Attention Learning for Inpainting
原文链接:MUSICAL: Multi-Scale Image Contextual Attention Learning for Inpainting (IJCAI 2019). Wang, N., Li, J., Zhang, L., & Du, B. [Paper]本文创新点:网络整体以U-Net为基础,一次性修复图像。本文采用两种不同大小的patch(3*3,1*1)来计算注意力分数 。首先计算缺失区域(foreground)和已知区域(background)的余弦相似度, 其次,通过softmax原创 2022-11-06 21:57:37 · 320 阅读 · 1 评论 -
论文阅读——Learning Pyramid-Context Encoder Network for High-Quality Image Inpainting
原文链接:Learning Pyramid-Context Encoder Network for High-Quality Image Inpainting (CVPR 2019). Zeng, Y., Fu, J., Chao, H., & Guo, B. [Paper][Code]本文创新点: 金字塔上下文编码器网络(PEN-Net)由三部分组成:金字塔上下文编码器(a)、多尺度解码器(b)和判别器(d)。金字塔上下文编码器利用注意力学习高层特征图的区域相似性,并指导下一层特征区域相似性学习。 其中,原创 2022-11-06 21:53:33 · 456 阅读 · 1 评论 -
论文阅读——Coherent Semantic Attention for Image Inpainting
原文链接:本文创新点:提出,保证修复区域和已知区域的语义一致性,使用对CSA进行训练,同时设计了),实现更好的预测。原创 2022-10-29 15:20:47 · 315 阅读 · 0 评论 -
论文阅读——Recurrent Feature Reasoning for Image Inpainting
原文链接:Recurrent Feature Reasoning for Image Inpainting (CVPR 2020). Jingyuan Li, Ning Wang, Lefei Zhang, Bo Du, Dacheng Tao [Paper][Code]本文创新点:整体网络主要由三个部分构成: 用部分卷积来识别在每个递归中要更新的区域。用部分卷积更新后的掩码M* 减去输入掩码M,即为本次循环中需要推理的区域。Knowledge Consistent Attention(知识一致注意力)原创 2022-10-29 15:12:46 · 219 阅读 · 0 评论 -
论文阅读——Coarse-to-Fine Image Inpainting via Region-wise Convolutions and Non-Local Correlation
原文链接:Coarse-to-Fine Image Inpainting via Region-wise Convolutions and Non-Local Correlation (IJCAI 2019). Ma, Y., Liu, X., Bai, S., Wang, L., He, D., & Liu, A. [Paper][Code]本文创新点:网络分为两个部分粗略修复(stage1)和细致修复(stage2)。其中, 是包含缺失区域的图像, 为二值掩码(缺失像素为0,其他为1), 为完整图像,E原创 2022-10-24 09:15:29 · 213 阅读 · 1 评论 -
论文阅读——High-Fidelity Pluralistic Image Completion with Transformers
原文连接:本文创新点:将transformer用于图像修复,实现多元化修复。主要思想:将修复过程分成两个步骤,用transformer进行外观重建(全局结构+粗纹理),再用CNN对细节纹理补全。原创 2022-10-07 16:36:55 · 945 阅读 · 1 评论 -
论文阅读——Semantic Image Inpainting with Progressive Generative Networks
原文连接:本文的创新点:提出了渐进生成网络(Progressive Generative Networks),将整个修复过程分成四个阶段,从缺失区域的外围逐步向中心进行修复。原创 2022-10-07 16:29:12 · 521 阅读 · 1 评论 -
论文阅读——Shift-Net: Image Inpainting via Deep Feature Rearrangement
原文链接:Shift-Net: Image Inpainting via Deep Feature Rearrangement (ECCV 2018). Yan, Z., Li, X., Li, M., Zuo, W., & Shan, S. [Paper][Code]本文的创新点:目录 网络结构网络整体结构 移位连接层损失函数guidance loss:L1损失:对抗损失:总体损失: 实验结果整体网络在U-Net的基础上增加一个shift-connection layer。移位连接层做的任务就是,通过近邻原创 2022-10-07 16:20:35 · 646 阅读 · 1 评论 -
论文阅读——Contextual-based Image Inpainting: Infer, Match, and Translate
可以修复任意大小,孔洞任意形状的图片;可以将网络应用到其他任务上,如风格迁移;缺点:无法修复结构复杂,缺少对象主体部分的图像;原创 2022-10-02 09:40:30 · 240 阅读 · 2 评论 -
论文阅读——Image Inpainting for Irregular Holes Using Partial Convolutions
Image Inpainting for Irregular Holes Using Partial Convolutions阅读笔记原创 2022-10-01 09:36:04 · 524 阅读 · 2 评论 -
论文阅读——Globally and Locally Consistent Image Completion
Globally and Locally Consistent Image Completion论文笔记原创 2022-09-26 19:19:00 · 1447 阅读 · 5 评论 -
论文阅读——Context Encoder(上下文编码器)
Context Encoders: Feature Learning by Inpainting (CVPR 2016)论文笔记原创 2022-09-26 14:54:51 · 3795 阅读 · 3 评论 -
论文阅读——Image Inpainting
论文Image Inpainting阅读笔记原创 2022-09-25 15:09:59 · 781 阅读 · 2 评论