人工智能 机器学习/深度学习 知识点混记
计算机视觉模型 benchmark
卷积层计算公式
特征图尺寸
参数量
P = F w ∗ F h ∗ D p ∗ D c + b P=F_w*F_h*D_p*D_c+b P=Fw∗Fh∗Dp∗Dc+b
P
:
P:
P: 参数量
F
:
F:
F: 卷积核长宽尺寸
D
D
D 输入维度和输出维度
b
:
b:
b: 偏置数量
卷积动态过程示意图
常用机器学习算法选择路线
矩阵相乘的理解
以 A 为输入矩阵 X,行为特征数,列为特征维度
矩阵 A * B(A左乘B) 可以看作以 B 列向量为卷积核对 A 进行隔离卷积(卷积核尺寸为向量长度,类似于 Network In Network 的思想)
- A 的行为特征维度,代表特征个数,A 的列数为向量维度就是通道维数。B 中每一列都是一个滤波器。
- 可以把 B 想象为一个单层全连接神经网络,A * B 就相当于使用B对 A中每行的向量进行神经网络变换。所以让 A 乘以一个矩阵,就相当于使用一个线性神经网络拓展 A 的列(通道)维度。
矩阵 B * A(A右乘B) 可以看作对A的转置(以列为特征数,行为特征维度)进行隔离卷积
卷积公式理解
以卷积层的角度来理解,x 即卷积核的窗口面积(周围邻域数),t 为滑窗时的索引。卷积层中的卷积实际上为离散卷积。
卷积与傅里叶变换
卷积 = 特征与权重在频域相乘
推导如下:
参考
向量的点积
向量 a 点乘向量 b 可以看作把向量 a 的 x,y 轴基向量变换为基向量 b(同时投影后加和),降二维空间压缩至一维,获得 a 在基向量变换后在一维空间的值,即 a 在 b 上的投影 * b 的模长。
参考