DAY1_基础知识

基础概念

线性代数

• 标量（scalar）：一个单独的数

• 向量（vector）：一列数，可以被看作空间中的坐标（每一个元素是对应坐标轴上的坐标）。向量也可以被看作一维的张量

• 矩阵（matrix）：一个二维数组。可以被看作二维的张量

• 张量（tensor）：一个n维数组，可以在n维坐标系中确定一个位置。

• 矩阵和向量的运算规则：略

• 范数：衡量向量的大小，是将向量映射到非负值的函数

• 。。。

  概率论

• 边缘概率：多维随机变量中某一随机变量的分布。

• 条件概率：某一事件发生时，另一事件发生的概率。（x发生的条件下，y发生的概率）

• 期望：反应随机变量的平均取值

• 方差：衡量数据的离散程度

• 协方差：衡量两个随机变量的相关性

• sigmoid函数：f(x) = 1 / 1 + exp(x)^-1。由于函数只有在原点附近具有较好的梯度，在远离y轴时梯度较小。因此使用sigmoid函数时网络的收敛速度较慢，而且容易出现梯度消失现象。

• 贝叶斯规则：已知 P(x|y) 以及 P(x) 的条件下计算 P(y|x)

信息论

• 熵：可以理解为信息量，也可以被称为自信息。发生可能性较小的事件具有更高的信息量。如果P(x)表示x事件发生的概率，则期望E(x)就是熵。
• KL散度：衡量两个分布的差异，又被称为KL距离图片。如果两个分布P和Q，在某些情况下两者的KL的KL距离具有不对称性，即D(P||Q) ！= D(Q||P)
• 交叉熵：X和Y的交叉熵 = X和Y的KL散度 - X的信息熵。