图神经网络基础入门+GNN细胞视频轨迹示踪论文复现（一）

提示：文章写完后，目录可以自动生成，如何生成可参考右边的帮助文档

文章目录

• 前言
• 一、GNN基础知识学习
• 二、GNN细胞视频轨迹示踪论文复现
  • 1.论文精读
  • 2.复现过程
  • 3.论文小结及复现结果
• 三、总结

---

前言

随着人工智能的CNN、RNN各种模型的不断发展，基于非欧式空间距离的图数据结构的建模问题尤为突出，2016年图卷积GCN出现，直到近两年现在GCN才开始火爆，图神经网络应用在深度度量学习(DML)技术的也是越来越热门,它与深度学习（DL）有所不同，DML学习特征更加多维化，详细化。本文就介绍基于图神经网络的DML基础内容学习和ECCV论文Graph Neural Network for Cell Tracking in Microscopy Videos.Tal Ben-Haim and Tammy Riklin Raviv.arXiv:2202.04731v2 [cs.CV] 17 Jul 2022.论文复现。代码论文code+paper点击这里。

一、GNN图神经网络是什么？

一、图神经网络当前主要有以下几种类别

(1)图卷积网络（Graph Convolution Networks，GCN）:（1）GCN是一个厉害的提取图特征的公式，可以对图的特征更好的提取，选择不同的滤波器完成图的卷积运算，将图像像素点看成图节点，通过空间的图卷积将中心节点表示和图节点、节点关系表示成边进行聚合，以获得该节点的新表示，通过聚集相邻节点直接在图域中执行卷积完成GCN的过程。（2）对于GCN如果只是想应用，不用管数学原理和内部原理,涉及数学的参数拟合公式特别多。(3)GCN的特点是即使不训练，完全使用随机初始化参数W，GCN网络提取出的特征就十分优秀了，这和CNN不训练是完全不一样的。例如：数据中同类别的节点，经过GCN提取出的embedding,已经在空间上自动聚类，比赛还没开始，GCN就已经在终点了，很NB。

(2)图注意力网络（Graph Attention Networks，GAT）：为了放大数据中的重要部分以及具有关联性数据之间的影响，它在聚合过程中使用注意力机制，但是具体使用self-attention、mutil-header-attention....需要结合具体任务进行实验选择模块。

(3)图时空网络（Graph Spatial-temporal Networks）

(4)图的空域网络(spatial-temporal networks)，因为该模型通常用在动态图(dynamic graph)上。

(5)图的自编码(auto-encoder)，因为该模型通常使用无监督学习(unsupervised)的方式。

(6)图生成网络(generative networks)，因为是生成式网络

图的相关基本概念：

(1)图：节点、边

(2)图表示方法：图的邻接矩阵

（3）消息传递：将每个顶点向量和与之邻接的顶点向量提取出，然后做向量的加法，再经过mlp多层感知机完成映射的这个过程就叫图的消息传递。

（4）层与层之间更新节点特征消息传递的过程：