【知识总结】深度学习数学基础

期望

在概率论和统计学中，一个离散性随机变量的期望值是试验中每次可能的结果乘以其结果概率的总和。是随机试验在同样的机会下重复多次，所有那些可能状态平均的结果。期望值可能与每一个结果都不相等。换句话说，期望值是该变量输出值的加权平均。期望值并不一定包含于其分布值域，也并不一定等于值域平均值。

离散型随机变量：
六面骰子：

连续型随机变量：

方差

一个随机变量的方差描述的是它的离散程度，也就是该变量离其期望值的距离。也称为它的二阶矩或二阶中心矩。意即，将各个误差的平方相加之后再除以总数，透过这样的方式来算出零散（相对中心点）的程度。

离散型随机变量：

举例：

求 1，2，3，4，5的方差 先求均值：1+2+3+4+5=15 均值为15 / 5 =
3，每个数距3的差做平方，分别为4，1，0，1，4，和为10，然后10除以总数5结果最终2，即方差为2。（这里比较特殊的是取每个数的概率相同，都为 1/5，所以均值才能为3）

连续型随机变量：（概率密度函数f(x)）

标准差（均方差）

方差开算术平方根，即为正值。

离散型随机变量：

当随机变量xi的概率不一样时，用下面的公式：

连续型随机变量：

协方差

衡量两个随机变量的联合变化程度。
若变量X的较大值主要与另一个变量Y的较大值相对应，而两者的较小值也相对应，则可称两变量倾向于表现出相似的行为，协方差为正。
在相反的情况下，当一个变量的较大值主要对应于另一个变量的较小值时，则两变量倾向于表现出相反的行为，协方差为负。即协方差之正负号显示著变量的相关性。

举例：

求X = 3，5，4，12，9和Y = 5，15，5，6，7两组数的协方差。
Cov(X,Y) = E[XY] - E[X]E[Y]
E[X] = (3+5+4+12+9) / 5 = 6.6，E[Y] = 7.6
E[XY] = ( 3✖5 + 5✖15 + 4✖5 +12✖6 + 9✖7 ) / 5 = 49 协方差为 49 - 6.6*7.6 = -1.16
（负值可以说明X的较大值对应Y的较小值）

协方差表示的是两个变量的总体的误差，这与只表示一个变量误差的方差不同。
如果两个变量的变化趋势一致，也就是说如果其中一个大于自身的期望值，另外一个也大于自身的期望值，那么两个变量之间的协方差就是正值。
如果两个变量的变化趋势相反，即其中一个大于自身的期望值，另外一个却小于自身的期望值，那么两个变量之间的协方差就是负值。

如果X，Y独立，协方差为0，但是协方差为0，X，Y不一定独立。

相关性

准确地说是线性相关性，是一个衡量线性独立的无量纲数，其取值在[－1, 1]之间。相关性η = 1时称为“完全线性相关”（η =－1时称“完全线性负相关”），此时将Yi对Xi作Y-X散点图，将得到一组精确排列在直线上的点；相关性数值介于－1到1之间时，其绝对值越接近1表明线性相关性越好，作散点图得到的点的排布越接近一条直线。

相关性为0（因而协方差也为0）的两个随机变量又被称为是不相关的，或者更准确地说叫作“线性无关”、“线性不相关”，这仅仅表明X 与Y
两随机变量之间没有线性相关性，并非表示它们之间一定没有任何内在的（非线性）函数关系，和前面所说的“X、Y二者并不一定是统计独立的”说法一致。