论文阅读
文章平均质量分 67
莫问前程学无止境
止于至善
展开
-
Conditional Structure Generation throughGraph Variational Generative Adversarial Nets 论文阅读
目标基于语义条件生成图(1)基于条件生成尽可能相似的图。(2)有条件的生成新的图。解决的问题(1)基于语义有条件的生成图(2)如何处理图在生成过程中的顺序的问题解决问题的方法(1)提出了一个图变分自编码对抗生成网络。本质是Graph+VAE+GAN的结构和方法。(2)通过对共轭潜在分布的变分推断,将结点编码分解为排列不变的图编码。共轭:共轭(conjugate)是贝叶斯方法中很常见的一个词,结合贝叶斯定理,我们可以将“共轭”理解为后验和先验是同一种分布。参考文原创 2022-04-21 10:42:53 · 1276 阅读 · 0 评论 -
DYNAMIC GRAPH REPRESENTATION LEARNING VIAGRAPH TRANSFORMER NETWORKS 阅读笔记
Traget图学习的理论研究。Motivation在现实生活中,很多事物之间是有相互联系的,根据这种联系可以建立一个图结构。但是现实生活中的图结构往往不是固定的,是随着时间的变化而动态改变的,因此,需要设计一个动态的图的方法。Problem动态图的学习会面对两个问题,(1)对图信息非常敏感。(2)缺乏泛化能力。Solved(1)为了解决图信息的敏感问题,提出了一个基于动态图的transformer,依靠临时空间编码来捕获图的拓扑。(2)为了提升泛化能力,设计了一种互补的自监督原创 2022-02-18 10:35:03 · 440 阅读 · 0 评论 -
LPMNet: Latent Part Modification and Generation for 3D Point Clouds 阅读笔记
Target基于点云的三维形状的生成。Motivation基于部件的三维生成已经是一种非常常见的生成方法,这源自于,我们世界中的复杂物体都可以看作是由一些基本部件组合而成,但是之前的方法中,需要对每个部件进行感知,设计的网络非常复杂,这需要对物体进行分割等人工操作,而本篇文章提出了一种端到端的方法,利用一个单一的网络,对部件进行分块学习。Problem如何利用一个单一的网络,对物体进行分部件学习?同时还可以在特征空间中进行组合操作。Solve(1)加入segmentation m原创 2022-02-15 17:42:36 · 357 阅读 · 0 评论 -
Rethinking Graph Transformers with Spectral Attention 阅读笔记
NIPS 2021困难:难以定义正确的位置图网络(GNN)产生过度平滑的原因:图网络的消息传递框架使用了前面两个主要函数 Aggregate 和 Update,它们从邻居那里收集特征向量并将它们与节点自己的特征结合起来更新它们的表示。此操作的工作方式使交互节点(在此过程中)具有非常相似的表示。...原创 2022-02-14 21:49:34 · 1044 阅读 · 0 评论 -
A Generalization of Transformer Networks to Graphs 论文阅读笔记
Task使用transformer去处理图结构数据。Motivation图数据拥有两个特性:(1)稀疏性。(2) 结点间有拓扑关系。这两个特性对于图来说非常重要,但是在利用transformer去处理图数据时,由于在任意两个结点之间建立了联系,因此可以说忽略了图的稀疏性和拓扑关系这两个特性,因此作者想设计一种基于图的transformer,在保留图的特性的时候,依旧能够利用transformer去处理。Method整个网络的结果如上图所示,其中图左边描述的是不加入边信息的transfor原创 2022-01-28 22:47:49 · 1756 阅读 · 0 评论 -
Unconditional Scene Graph Generation 阅读笔记
Task无条件的场景图生成。之前的场景图生成的研究中,是基于条件生成的场景图,而本篇工作是根据一个随机的输入,产生一个完整的场景图。问题(1) 图的object的数量的多少是不一致的。(2) object之间的关系的种类是不平衡的。(3) object之间的关系是有向的。解决方法(1) 前人的工作大多是给一个假设,即设定object的数量是一致的,而本篇工作采用的是自回归的方法,利用自回归来解决数量不一致的问题。(2) object与object之间的关系和种类,作者利用了G原创 2022-01-17 17:46:20 · 888 阅读 · 0 评论 -
EditVAE论文阅读笔记
Unsupervised Part-Aware Controllable 3D Point Cloud Shape Generation 是2021年10月放在arxiv上的一篇论文Task基于组件的形状的生成,使用无监督的方式Key Idea利用VAE作为学习框架,在隐空间中进行分解,以无监督的方式学习形状的各个组件之间的关系,达到结构感知的学习结果方法输入一个点云的形状,首先经过一个后验(Encoder),然后经过重参数化采样,得到一个全局的隐空间,经过一个线性映射,得到不同原创 2022-01-10 17:54:00 · 1400 阅读 · 0 评论 -
Modeling Levels of Structural Detail in 3D Part Hierarchies阅读笔记
TASK基于组件的三维模型的生成Idea之前StructureNet(StructureNet读书笔记 - 知乎)将基于组件的建模推到了一个巅峰,但是也有一个缺陷,即在生成的过程中,如果想根据已经生成的部件去继续生成的时候,会遇到问题,之前已经生成的部件会被改变。这篇论文中,作者在生成的阶段,利用条件生成的方式,让StructureNet能够基于已经生成的部件去生成完整的部件。challenge(1)如果不从头开始重新生成整个层次结构,并且不能保证重新生成的结构的其余部分将完全忠原创 2021-12-30 17:23:34 · 401 阅读 · 0 评论 -
Do Transformers Really Perform Bad for Graph Representation 阅读笔记
Task利用transformer进行图预测,即给出一个图,预测出其类别,其中图由来表示,代表结点,代表边。在阅读这篇论文之前,回顾一下经典的GNN和Transformer。GNN一般的图神经网络通常通过聚合邻接结点的特征更新结点表达,称为AGGREGATE-COMBINE。公式如下所示:其中,l代表的是图卷积的层数,h代表的是结点在每一层的特征。一般聚合操作包括mean, max, sum。TransformerTransformer通过计算节点相似度对节点表示进行更新。 ..原创 2021-12-27 23:02:57 · 1044 阅读 · 5 评论 -
A Deep Generative Network for Computer-Aided Design Models 阅读笔记
这一小段节选自这篇论文的introduction,是比较少见的在计算机科研论文中,使用了一定的修辞手法去表达的论文,因此记录一下:-)Task以序列化的方式,生成CAD三维模型。问题在做CAD模型的生成的时候,有一系列的步骤,每个步骤都有相应的参数控制,但是这些控制的参数有些是离散的值,有些是连续的值,这就给基于传统深度学习的几何建模方法带来了挑战。一般的深度学习建模方法不再适应。解决的方法(1)对CAD的建模command做了编码(2)利用transformer做...原创 2021-12-27 17:11:05 · 724 阅读 · 0 评论 -
Learning Deformable Kernels in 3D GraphConvolution Networks for Point Cloud Analysis 阅读笔记
Task定义一种在三维形状中,新的点云运算方法。问题(1) 三维点云是一种无序,无结构的三维形状表达方式,因此不能提供一种统一的运算方式。(2)之前的一些方法,在对三维点云进行一些操作,例如放缩和平移的时候,就会影响计算的效果。解决方法(1)利用一个可变形的3D核去学习3D点云的信息。(2)提出了一个基于图的最大池化的方法去处理不同的尺度信息。方法作者自定义了图卷积的感受野,即对于一个三维形状中的每一个点,作者固定了其周围的最近邻的M个点作为其感受野。此外,作..原创 2021-12-23 16:34:47 · 2530 阅读 · 1 评论 -
ViTGAN: Training GANs with Vision Transformers阅读笔记
Task图像的生成Key idea利用transformer作为基本的计算单元,替代传统的CNN,同时基于GAN的基础架构,去完成图像的生成任务。面对的问题:(1) GAN的正则化方法与注意力机制的交互很差,导致训练中稳定性不足(2)在鉴别器训练的后期,对抗训练经常受到高方差梯度(或尖峰梯度)的阻碍。高方差梯度会在训练的时候导致震荡,非常影响训练的效果。解决的方法:(1) 在判别器中,研究者重新审视了自注意力的 Lipschitz 性质,在此基础上他们设计了一种加强了..原创 2021-12-21 16:55:42 · 1257 阅读 · 0 评论 -
A Hierarchical Approach for Unified and Controllable Multi-Category Object Generation 阅读理解
Task基于语义信息的图像生成Key idea利用粗到细的生成方式,先生成bouning-box的layout,再生成pixel-level,最后再给每一个bounding-box增添上颜色。现有的工作的问题(1)现有的方法一般只生成一类图像,例如鸟的图像,脸的图像等。(2)现有的方法需要生成背景作为上下文的引导偏执。(3)现有的方法的生成结果不能很好的用于下游任务。方法Pipeline如前文所描述的一样,文章的方法分成了几个阶段,首先,LabelMap–V.原创 2021-12-17 23:05:55 · 284 阅读 · 0 评论 -
Positional Encoding as Spatial Inductive Bias in GANs论文阅读理解
Task高质量的生成图像。就基于图像的卷积生成器 而言,多层的卷积的组合能够提供一个空间上的引导偏执,能够从特征图的边缘向内部传递。作者发现,这种现象在目前的很多方法例如SinGAN,StyleGAN,DCGAN,PGGAN等方法上都有体现。而现有的方法在边缘区域能够展示高度的结构化,但是在中心区域并不能展示出高度的结构化,因此会给生成的效果带来影响,尤其是对于有空间结构关系的图片,如上图所示。作者提出,在卷积的过程中,补零填充会隐式地对空间位置进行编码。基于次,作者自己设计了一种空间引导偏原创 2021-12-16 19:46:11 · 636 阅读 · 0 评论 -
Contact-based Reasoning for Generating 3D Shapes from Parts 论文阅读理解
BackgroundThere is increasing demand for high-quality 3D object models across multiple fields: gaming and virtual reality; advertising and e-commerce; synthetic training data for computer vision and robotics; and more. The traditional practice of ma...原创 2021-12-14 22:49:14 · 3958 阅读 · 0 评论 -
Rethinking positional encoding 阅读笔记
首先,我们来回顾一下经典的transformer下的PE。PE:我们知道,transformer模型的attention机制并没有包含位置信息,即一句话中词语在不同的位置时在transformer中是没有区别的,这当然是不符合实际的。为了解决这个问题,transformer添加了额外的向量PE来解决这个问题。这个向量能够决定当前词的位置,或者说在一个句子中不同的词之间的距离。理想的情况下位置编码的设计应该满足:它应该为每个字输出唯一的编码不同长度的句子之间,任何两个字之间的差值应该保持一致它原创 2021-12-09 17:34:38 · 1957 阅读 · 0 评论 -
Spline Positional Encoding for Learning 3D Implicit Signed Distance Fields 阅读笔记
用MLP去近似一个隐式函数会遇到的问题:(1) 基于坐标点的MLP和ReLU函数并不能够很好的重建出平面的细节内容。(2)一些改进的方法尝试引入傅里叶变换,将坐标变换到高纬的傅里叶空间,但是这一类的方法并不能很好的重建出一个平面。解决的方法:作者提出了Spline Positional Encoding,利用这种方法去做坐标的编码,从而能够去恢复出一个良好的形状平面。PE:能够以一种均匀的位置表示关系告诉神经网络,某个元素所处的位置。具体的方法:SDF(符号距离函数)对于给定原创 2021-12-07 16:43:11 · 719 阅读 · 0 评论 -
Octree Transformer读书笔记
任务用自回归的方式来生成三维形状(3D Shape)。问题(1)怎么压缩数据(在分辨率较高的时候会造成内存开销过大)(2)如何以自回归的方式生成结果方法整个过程分为三个阶段,(1)输入一个八叉树序列。(2)将其压缩为一个短的序列。(3)训练一个标准的transformer解码器。当完成训练以后,可以利用transformer生成一个序列向量,并且解压解码。序列化的八叉树首先对一个体素化的shape,用一个包围盒(bounding cube)将其围住,并对其进行细分,每一次都划原创 2021-12-06 23:02:13 · 2603 阅读 · 0 评论 -
CanvasVAE: Learning to Generate Vector Graphic Documents 阅读笔记
任务原创 2021-12-02 21:40:52 · 291 阅读 · 0 评论 -
Adversarial Generation of Continuous Images 阅读笔记
任务在对图像的表示中,最经典的方式是利用矩阵对图片进行表达,但是这种表达方式将图片进行离散化了。而在真实的世界中,我们认为是连续的,或者近似连续的。于是,作者提出使用一个连续的函数来表示图像,再结合目前的神经网络,提出一个方案,即利用神经网络来逼近这个连续的函数。这种方案被称为INR(Implicit Neural Representation),表达的公式如下:对于图像来说,INR将二维坐标映射到RGB的一个值。上图是一个对比图,坐标为常规的卷积网络做图像生成的方法,右边为使用IN..原创 2021-12-01 14:35:38 · 2533 阅读 · 0 评论 -
Constrained Graphic Layout Generation via Latent Optimization 论文阅读笔记
任务基于布局的元素的标签和限制条件,生成高质量合理的布局(Layout)。这个问题其实前人已经有不少的工作处理过了,但是,之前的工作都是直接生成布局,但是在生成布局的时候,有可能出现各种的遮挡,重叠等情况,因此作者在设计新的神经网络解决布局的生成问题之后,利用最优化的思想,设计了目标函数和限制条件,优化最终的生成效果。方法整个的方法分为两个Part,如上图的pipeline所示分别是LayoutGan++和Constrained Layout Generation via Late...原创 2021-11-30 17:29:30 · 1963 阅读 · 0 评论 -
3D Point Cloud Generative Adversarial Network Based on Tree Structured Graph Convolutions
论文的主要内容:作者提出的问题:在本篇论文之前(本篇论文发表于2019年的ICCV)工作中很少有利用无监督的学习方式处理点云的生成。之前的工作比较直接,通常是对点云坐标的直接运算,然而这些方法虽然能产生不错的效果,但是计算复杂度高,而且生成的物体的种类有限制。基于此,作者提出了一个方法,称之为Tree-GAN,即建立一种Tree的数据结构,并结合GANs博弈思想,生成高质量的点云模型。contribution:1) 提出tree-gan的新的方法,用于无监督学习中生成3D 点云的三维原创 2020-12-03 21:06:12 · 874 阅读 · 0 评论 -
StructureNet
StructureNet: Hierarchical Graph Networks for 3D Shape Generation分层的图卷积网络,发表在2019年的siggraph asia上,论文的创新性比较强,可以说是一个标杆性质的工作(PS:又大大加大了shape genenration的工作难度o(╥﹏╥)o)。抱怨归抱怨,还是来细细解析研读一下本篇论文,毕竟是比较经典的工作。本菜鸡的工作方向也是shape generation,这个领域内的工作大致都是,为了避免geometry 本.原创 2020-11-15 15:56:44 · 598 阅读 · 0 评论 -
RPM-Net: Recurrent Prediction of Motion and Parts from Point Cloud
RPM-Net的文章发表在2019年的Trans on Graphics 上面,同时收录在siggraph asia 2019上面.作者提出的问题:当给出很少的静态物体的时候如何去预测part的运动。因此本文主要解决的就是给定少量的物体,或者物体的一部分,可以预测出它们的变化。 以...原创 2020-11-14 22:49:09 · 427 阅读 · 0 评论 -
Local Implicit Grid Representations for 3D Scenes
这篇论文是取自CVPR2020 ,属于使用隐式函数去做应用,将在object上做生成扩展到大规模的场景中。作者首先提出问题:之前提出的一系列用于深度几何学习的表述方式,例如:体素,点云,网格或者是隐式函数。都学习的是一个很小的种类,并没有很强的泛化能力,并且大都不能去处理复杂的场景信息。作者在本篇论文中,就将提出一个三维形状的表述方式,用于去处理大规模的三维场景信息。key idea:无论多么复杂的三维场景,或者是某一种类的三维物体,它们在局部上任然具有相同的特征。作者的核心思想就是利用这种局部相似原创 2020-11-12 21:35:19 · 683 阅读 · 0 评论 -
Combining Implicit Function Learning and Parametric Models for 3D Human Reconstruction
ECCV 2020的内容,属于几何深度学习,同时隶属于当下火热的方法隐式函数,下文是本篇论文的读书笔记。文献一开始提出了隐式函数在进行生成的时候的缺点:(1)生成的物体表面是静态的(2)模型的表面不能进行编辑作者提出的方法结合了隐式函数对模型细节的表达能力+对模型参数化的表达从而去重建人体的三维模型。(让surface与相应的语义对应)本篇paper的核心目标:In this paper, we focus on the reconstruction of human models f.原创 2020-11-11 20:01:18 · 1068 阅读 · 2 评论