人工智能 机器学习/深度学习 知识点混记

计算机视觉模型 benchmark

卷积层计算公式

特征图尺寸

参数量

$P=F_w\ast F_h\ast D_p\ast D_c+b$

$P:$ 参数量
$F:$ 卷积核长宽尺寸
$D$ 输入维度和输出维度
$b:$ 偏置数量

卷积动态过程示意图

常用机器学习算法选择路线

矩阵相乘的理解

以 A 为输入矩阵 X，行为特征数，列为特征维度

矩阵 A * B（A左乘B） 可以看作以 B 列向量为卷积核对 A 进行隔离卷积（卷积核尺寸为向量长度，类似于 Network In Network 的思想）

• A 的行为特征维度，代表特征个数，A 的列数为向量维度就是通道维数。B 中每一列都是一个滤波器。
• 可以把 B 想象为一个单层全连接神经网络，A * B 就相当于使用B对 A中每行的向量进行神经网络变换。所以让 A 乘以一个矩阵，就相当于使用一个线性神经网络拓展 A 的列（通道）维度。

矩阵 B * A（A右乘B） 可以看作对A的转置（以列为特征数，行为特征维度）进行隔离卷积

卷积公式理解

以卷积层的角度来理解，x 即卷积核的窗口面积（周围邻域数），t 为滑窗时的索引。卷积层中的卷积实际上为离散卷积。

卷积与傅里叶变换

卷积 = 特征与权重在频域相乘
推导如下：

参考

向量的点积

向量 a 点乘向量 b 可以看作把向量 a 的 x，y 轴基向量变换为基向量 b（同时投影后加和），降二维空间压缩至一维，获得 a 在基向量变换后在一维空间的值，即 a 在 b 上的投影 * b 的模长。
参考