基础概念
线性代数
-
标量(scalar):一个单独的数
-
向量(vector):一列数,可以被看作空间中的坐标(每一个元素是对应坐标轴上的坐标)。向量也可以被看作一维的张量
-
矩阵(matrix):一个二维数组。可以被看作二维的张量
-
张量(tensor):一个n维数组,可以在n维坐标系中确定一个位置。
-
矩阵和向量的运算规则:略
-
范数:衡量向量的大小,是将向量映射到非负值的函数
-
。。。
概率论
-
边缘概率:多维随机变量中某一随机变量的分布。
-
条件概率:某一事件发生时,另一事件发生的概率。
(x发生的条件下,y发生的概率)
-
期望:反应随机变量的平均取值
-
方差:衡量数据的离散程度
-
协方差:衡量两个随机变量的相关性
-
sigmoid函数:f(x) = 1 / 1 + exp(x)^-1。由于函数只有在原点附近具有较好的梯度,在远离y轴时梯度较小。因此使用sigmoid函数时网络的收敛速度较慢,而且容易出现梯度消失现象。
-
贝叶斯规则:已知 P(x|y) 以及 P(x) 的条件下计算 P(y|x)
信息论
- 熵:可以理解为信息量,也可以被称为自信息。发生可能性较小的事件具有更高的信息量。如果P(x)表示x事件发生的概率,则期望E(x)就是熵。
- KL散度:衡量两个分布的差异,又被称为KL距离图片。如果两个分布P和Q,在某些情况下两者的KL的KL距离具有不对称性,即D(P||Q) != D(Q||P)
- 交叉熵:X和Y的交叉熵 = X和Y的KL散度 - X的信息熵。