VMV-GCN Volumetric Multi-View Based Graph论文分析

叠甲：本人三本985大二差生，什么都不会，文章都是自己的学习记录，没有任何参考价值，难免有不少错误，请大家轻点喷。

基础知识

体素化、多层感知机、批量归一化、relu函数

流程图

 

VMV-GCN模型的架构:它由一个用于体素特征编码的VMVF模块、两个用于构建和学习体素类图的DNFL模块和几个作为分类器的FC层组成，用于处理来自DNFL模块的多尺度特征进行分类。

一、事件流体素化：

优点：1.稀疏的体素式输入可以保持较低的模型复杂度

 2.从稀疏到密集的转换过程中引入了一些无效的信息，如空像素和噪声

和阈值对比得到像素内事件流（xi,yi,ti,pi极性)，将事件点云（x-y-t)3D网格化，选择承载更多事件的代表性体素，积分得三个不同的视图:x-y前视图Fixy, y-t侧面视图Fiyt和x-t垂直视图Fixt

二、VMVF模块

 

将F的二维语义信息视为ixy作为主要线索，(Fiyt, Fixt)的运动信息作为辅助线索，c表示信息拼接操作。fs、fm为两个编码维数不同的参数非线性函数，由一个两层神经网络组成，其中每层使用一个批处理归一化(BN)层和一个ReLU函数。最终从事件体素中提取时空信息。

三、顶点共享双图的构建策略

 

KNN最邻近分类算法的实现原理：为了判断未知样本的类别，以所有已知类别的样本作为参照，计算未知样本与所有已知样本的距离，从中选取与未知样本距离最近的K个已知样本，根据少数服从多数的投票法则（majority-voting），将未知样本与K个最邻近样本中所属类别占比较多的归为一类。分为几何关系和特征级关系，包括几何图和恒等关系图。几何图相对简单，定义边的特征，然后单层神经网络、BN层和LeakyReLU函数三件套，并计算出权值cij，应用到恒等关系图，将顶点的原始和聚合的身份特征结合在一起，作为一个层次嵌入，单层神经网络生成输出即可。

 

DNFL模块的结构:它将体素类顶点作为输入，具有两个属性:坐标和身份特征。DNFL构建双图，基于几何和特征级关系将具有不同边缘特征的顶点连接起来。然后，它结合几何和特征级线索来聚合特征和更新顶点的坐标。橙色和紫色线分别表示几何和特征级的关系学习分支。⊗:标量乘法。