【图神经网络】卷积神经网络

• 引言
  • 本文是学习刘忠雨老师所著的《深入浅出图神经网络》过程中的笔记和记录整理，最后会有参考文献标注对应章节和内容中可能出现的参考文献、博文出处。

卷积神经网络

• 卷积神经网络是一种具有局部连接、权值共享等特点的深层前馈神经网络

卷积和池化

卷积

• 单通道卷积的过程便是通过一个滑动窗口选定一个区域，与相同大小的卷积核进行内积，将结果拼接起来的一个过程。卷积得到的输出就是所谓的特征图。
• 由于边界无法被卷积，会导致边缘对输出的影响减小，丢失边缘信息。解决的方法：padding，通常对边缘使用0进行填充。
• 多通道卷积类似单通道卷积

池化

• 目的：降维，减少计算量，并在训练初期提供一些平移不变性
• 池化：使用一个固定大小的滑窗在输入上滑动，每次将滑窗内的元素聚合为一个值作为输出。根据聚合方式的不同，分为平均池化（取平均值）和最大值池化（取最大值）。

卷积神经网络的结构

• 以AlexNet为例，详细介绍可以见
  https://blog.csdn.net/weixin_39873397/article/details/84568723
• 卷积神经网络的结构一般可以分成以下2个部分:
  • 卷积层和池化层交替堆叠成的骨干网络，主要用于从输入中提取特征
  • 全连接层，将卷积得到的特征图战平，主要是为了聚合全局信息并映射到输出空间。

卷积神经网络的特点

• 局部连接
• 权值共享
• 层次化表达

特殊的卷积形式

1*1卷积

• 作用：
  • 用于信息聚合，同时增加非线性。在卷积之后可以使用非线性激活，可以一定程度地增加模型的表达能力。
  • 用于通道数的变化。

转置卷积

• 作用：
  • 增加长宽的维度，将编码的地位特征逐步映射回像素空间。

空洞卷积

• 通过在卷积核元素之间插入空格来扩大卷积核
• 作用：
  • 在不增加参数量的前提下，快速扩大感知野

分组卷积

• 将特征图分组处理后，将结果融合

深度可分离卷积

• 沿着深度的逐层卷积+1*1卷积
• 作用:
  • 相对于标准卷积，减少了参数量、计算量，提高了运算效率。
  • 常用于对速度有要求的卷积结构设计中。

参考文献

1. 刘忠雨，李彦霖，周洋. 深入浅出图神经网络:GNN原理解析[M]. 北京:机械工业出版社，2020：39-63