- 引言
- 本文是学习刘忠雨老师所著的《深入浅出图神经网络》过程中的笔记和记录整理,最后会有参考文献标注对应章节和内容中可能出现的参考文献、博文出处。
卷积神经网络
- 卷积神经网络是一种具有局部连接、权值共享等特点的深层前馈神经网络
卷积和池化
卷积
- 单通道卷积的过程便是通过一个滑动窗口选定一个区域,与相同大小的卷积核进行内积,将结果拼接起来的一个过程。卷积得到的输出就是所谓的特征图。
- 由于边界无法被卷积,会导致边缘对输出的影响减小,丢失边缘信息。解决的方法:padding,通常对边缘使用0进行填充。
- 多通道卷积类似单通道卷积
池化
- 目的:降维,减少计算量,并在训练初期提供一些平移不变性
- 池化:使用一个固定大小的滑窗在输入上滑动,每次将滑窗内的元素聚合为一个值作为输出。根据聚合方式的不同,分为平均池化(取平均值)和最大值池化(取最大值)。
卷积神经网络的结构
- 以AlexNet为例,详细介绍可以见
https://blog.csdn.net/weixin_39873397/article/details/84568723 - 卷积神经网络的结构一般可以分成以下2个部分:
- 卷积层和池化层交替堆叠成的骨干网络,主要用于从输入中提取特征
- 全连接层,将卷积得到的特征图战平,主要是为了聚合全局信息并映射到输出空间。
卷积神经网络的特点
- 局部连接
- 权值共享
- 层次化表达
特殊的卷积形式
1*1卷积
- 作用:
- 用于信息聚合,同时增加非线性。在卷积之后可以使用非线性激活,可以一定程度地增加模型的表达能力。
- 用于通道数的变化。
转置卷积
- 作用:
- 增加长宽的维度,将编码的地位特征逐步映射回像素空间。
空洞卷积
- 通过在卷积核元素之间插入空格来扩大卷积核
- 作用:
- 在不增加参数量的前提下,快速扩大感知野
分组卷积
- 将特征图分组处理后,将结果融合
深度可分离卷积
- 沿着深度的逐层卷积+1*1卷积
- 作用:
- 相对于标准卷积,减少了参数量、计算量,提高了运算效率。
- 常用于对速度有要求的卷积结构设计中。
参考文献
- 刘忠雨,李彦霖,周洋. 深入浅出图神经网络:GNN原理解析[M]. 北京:机械工业出版社,2020:39-63