- 博客(59)
- 问答 (1)
- 收藏
- 关注
RSS订阅原创 Unsupervised Condition GAN
直接输入domain X图片，经过Generator后生成对应的domain Y的图像。这种转化input和output不能够差太多。通常只能实现较小的转化，比如改变颜色等。先学习一个X domain的encoder，把特征抽出来；然后输入Y domain的decoder，生成对应的图片。
2023-11-21 09:15:50
420
1
原创 Conditional GAN
Conditional GAN的做法就是，generator的输入一张图片和noise z，输出一张图片，discriminator会输入产生的image和input，输出一个scalar。通过算法的迭代，生成下面第三张图片，看起来很清晰，但和真实的图片还是有差异。对于根据文字生成图像的问题，传统的做法就是训练一个NN，然后输入一段文字，输出对应一个图片，输出图片与目标图片越接近越好。存在的问题就是，比如火车对应的图片有很多张，如果用传统的NN来训练，模型会产生多张图像的平均，结果就会很模糊。
2023-11-21 09:04:33
642
原创 Theory behind GAN
假如要生成一些人脸图，实际上就是想要找到一个分布，从这个分布内sample出来的图片像是人脸，分布之外生成的就不像人脸。之后训练G：其中第一项是与生成器无关的，由于G不能训练太多，否则会导致D无法evaluate JS，所以update一次就好。其实在训练过程中不是真正的minimize JS散度，因为G在训练时变化时，理论上V是要取期望值，但是实际上是不可能的，只能用样本的均值进行估计。现在的目标是最小化这个差异，所以下图的三个网络中，都是固定的，所以设为常数，然后通过求导求出最大值。
2023-11-17 09:51:47
440
原创 论文阅读——Hourglass Attention Network for Image Inpainting
网络由三个部分构成：CNN 编码器、CNN 解码器和沙漏注意力模块。沙漏注意力模块包含特征编码和特征解码两个过程，编码过程和解码过程由多层次的注意力块完成。在编码过程中patch的大小分别为1,2,4,8。沙漏注意力模块可以有效地利用多尺度的特征信息，同时降低了计算的复杂度。作者在softmax后引入了拉普拉斯先验以反映特征之间距离对注意力得分的影响。损失主要由重构损失（L1）、感知损失、风格损失和对抗性损失四个损失构成。每一个注意力块包含两个部分：拉普拉斯注意力层和前馈网络。
2023-05-09 18:09:28
204
1
原创 论文阅读——OMNI-DIMENSIONAL DYNAMIC CONVOLUTION（ICLR 2022）
的基础上，将注意力权重扩展到卷积核空间位置、输入通道、输出通道以及卷积核个数四个维度。ODconv在之前动态卷积（图中，GAP为全局平均池化，为卷积核每个位置的权重，
2023-04-09 16:54:00
414
1
原创 论文阅读——Dynamic Convolution: Attention over Convolution Kernels
的基础上进行改进的。对CondConv生成权重部分进行改进，用SE（将最后的sigmod替换成softmax）注意力生成不同卷积核的权重。动态卷积不是每层使用单个卷积核，而是根据输入相关的注意力动态聚合多个并行卷积核。
2023-04-04 10:31:23
94
1
原创 论文阅读——CondConv: Conditionally Parameterized Convolutions for Efficient Inference[2019-NIPS]
条件参数化卷积（CondConv），其实质就是将每个样本的卷积核用一组卷积核的线性组合来代替。在测试过程中，卷积核W的参数是固定的，改变的是权重α，从而实现动态卷积。得到，主要包括全局平均池化、全连接层、Sigmoid激活函数三个操作。其中，n为卷积核的个数（文章成为专家个数），其中，R为学习路由权重的矩阵。
2023-03-31 15:05:49
171
1
原创 解决报错CUDA error：out of memory。CUDA kernel errors might be asynchronously reported at some other API
在服务器上运行程序，遇到报错：CUDA error：out of memory。CUDA kernel errors might be asynchronously reported at some other API call, so the stacktrace below might be incorrect.报错原因： 我在另一个显卡的程序B占用了目前显卡的显存，导致运行程序A显存不够。解决方法：停止程序B后，再次运行程序A，就可以正常运行。
2023-03-29 10:38:44
4782
原创 解决报错ModuleNotFoundError: No module named ‘numpy.testing.decorators‘
原因是numpy版本过高。安装numpy1.17.0。先卸载原来的numpy。
2023-03-24 10:56:00
1533
原创 Anaconda新建虚拟环境并安装pytorch
conda create -n 名称 python=x.x。conda activate 名称。
2023-03-23 21:11:05
256
原创 解决RuntimeError: Attempting to deserialize object on CUDA device 2 but torch.cuda.device_count() is 1
解决方法，在加载模型的语句上，增加map_location='cuda:0'。
2023-03-21 20:57:28
474
原创 论文阅读——Context-Aware Image Inpainting with Learned Semantic Priors
网络结构。
2023-02-11 15:29:34
220
1
原创 论文阅读——Bridging Global Context Interactions for High-Fidelity Image Completion
2022CVPR 2022网络结构网络分为粗修复和细修复两个阶段。粗修复阶段主要使用限制性CNN提取token，并使用transformer获得全局信息。细修复阶段主要使用注意力感知层（ALL）自适应得平衡可见内容和生成内容的之间的注意力。
2023-01-31 17:39:56
866
1
原创 论文阅读——MISF:Multi-level Interactive Siamese Filtering for High-Fidelity Image Inpainting
在传统图像修复模型中，预测核模型是一类经典有效的模型(基本思想是一个像素点通过其周围的像素进行线性加权得到新的像素点)，并且其不会受到上述问题的困扰。在图像修复任务中，深度学习模型主要面临的问题：由于训练模型需要大量的数据，这些数据缺失区域的形状可能不同，背景也多种多样。这种方法只适用于缺失区域比较小的图像，当缺失区域比较大时，远离缺失区域边界的像素将无法修复，因为大的缺失区域破坏了局部结构。理论上对多层特征都进行过滤的效果会更好，然而每一个预测核都要通过一个专属的网络进行预测，计算量会增大。
2023-01-31 17:36:45
676
原创 论文阅读——Generating Diverse Structure for Image Inpainting With Hierarchical VQ-VAE
本文创新点：网络分为两个阶段，第一阶段为粗修复阶段，利用条件自回归网络生成多样性的结构特征，第二阶段为细修复阶段，利用结构对纹理进行修复。分层VQ-VAE只在训练过程中使用。分层VQ-VAE在VQ-VAE的基础上将全局信息和局部信息分开建模，top level关注图像的全局特征（结构），bottom level关注图像的局部特征（纹理）。预训练的分层VQ-VAE用来计算两个特征损失。结构生成器Gs 使用自回归网络来在离散结构特征上形成条件分布。然后从分布中抽样可以产生不同的结构特征。自回归网络令P(x) 为
2023-01-31 17:32:26
473
1
原创 论文阅读——Parallel Multi-Resolution Fusion Network for Image Inpainting
原文链接：2021ICCV 2021本文创新点：提出了一种并行多分辨率的图像修复网络，低分辨率分支提取图像结构特征，高分辨率分支提取图像纹理特征，并使用掩码感知融合模块和注意力引导融合模块进行特征融合。
2023-01-31 17:27:01
259
1
原创 论文阅读——Dual-path Image Inpainting with Auxiliary GAN Inversion
2022CVPR 2022本文创新点：利用GAN的逆映射提取破损图像的潜在编码，并用预训练的GAN提取相应的语义特来征辅助图像的修复。
2023-01-31 17:22:10
405
3
原创 论文阅读——MAT: Mask-Aware Transformer for Large Hole Image Inpainting
原文链接：2022CVPR 2022。
2023-01-29 21:49:51
2106
5
原创 论文阅读——UCTGAN: Diverse Image Inpainting based on Unsupervised Cross-Space Translation
本文的多样性是由实例图像保证的，相当于在原有的gt基础上，加了一个额外的标签；而transformer中的多样性是通过采样实现的，以p-vqvae为例，从码本中进行特征替换时，选择可能性最大的K个，根据权重随机采样一个进行替换，然后重新计算注意力，再进行采样。
2023-01-29 21:02:31
303
1
原创 论文阅读——CTSDG:Image Inpainting via Conditional Texture and Structure Dual Generation
本文创新点： 网络主体由两个自编码器网络组成，并用跳跃连接将两部分连接起来。解码器输出的纹理特征图记为，结构特征图记为，则控制纹理信息集成程度的软门控可以用下式表示：其中，为按通道拼接，为卷积核为3的卷积层，为Sigmoid激活函数。则融合后的结构特征为其中，为零初始化训练参数。同理，则融合后的纹理特征为最后，将融合后的特征按通道拼接，首先，计算特征图中patch之间的相似度，然后通过softmax得到注意力分数，然后，进行特征替换重构特征图时，使用四组不同扩张率的扩张卷积层来捕捉多尺度语义特征：其中，为扩
2023-01-29 20:55:49
1266
1
原创 论文阅读——CR-Fill: Generative Image Inpainting with Auxiliary Contextual Reconstruction
原文链接：本文创新点：提出了一个辅助上下文重建任务（训练CR loss），训练网络学习已知区域和缺失区域之间patch的相似性。
2023-01-29 20:45:59
831
原创 pycharm gpu上的张量在cpu上显示完整
然后，输入表达式（要导入numpy包，from numpy import np或import numpy as np）首先，右击变量，选择evaluate expression。np.array(变量.data.cpu())点击view as array就可以了。点击evaluate，后。
2022-12-20 19:59:39
244
原创 论文阅读——Free-Form Image Inpainting with Gated Convolution
原文链接：Free-Form Image Inpainting with Gated Convolution (ICCV 2019 oral). Yu, J., Lin, Z., Yang, J., Shen, X., Lu, X., & Huang, T. S. [Paper][Code][Project]本文的创新点：网络在《Generative Image Inpainting with Contextual Attention》基础上，将普通的卷积都替换成门控卷积。
2022-12-13 20:49:39
321
1
原创 论文阅读——Incremental Transformer Structure Enhanced Image Inpainting with Masking Positional Encoding
本文创新点：使用transformer对图像结构进行修复，作为修复图像的辅助信息；发表在2022CVPR
2022-12-12 20:13:07
1037
原创 论文阅读——Reduce Information Loss in Transformers for Pluralistic Image Inpainting-CVPR 2022
为commitment loss，主要是约束encoder的输出和embedding空间保持一致，以避免encoder的输出变动较大（从一个embedding向量转向另外一个）。Transformer的输入是encoder输出的特征，而不是离散的token，输出是masked token属于码本中向量的概率，目的是避免量化引入信息损失。个patch（r为patch的大小，默认为8），然后将每个patch展平，并投影到一个特征向量中。中提取多尺度特征图。为特征向量的个数，γ为衰减参数，实验中设为0.99。
2022-11-20 11:00:36
993
1
深度学习，FID指标计算
2023-04-14
c# 联合 halcon 第二次读图无法在全屏显示
2022-04-27
TA创建的收藏夹 TA关注的收藏夹
TA关注的人