12月机器学习笔记——概率与参数估计

——12月机器学习笔记之概率统计与参数估计

1.期望

a.期望就是随机变量值与随机变量概率的乘积，由随机变量的分布可以分为离散型与连续型期望。

b.期望的性质： E(kX)=kE(X)

E(X+Y)=E(X)+E(Y)

c.关于独立：如果X与Y独立，E(XY)=E(X)*E(Y)

d.思考题：从1,2,3，.....98,99,2015这100个数中任意选择若干个数（可能为0个数）求异或，试求异或的期望值。

——————异或：1000001

+  0000101

——————

=   1000100

   # 对任意一个二进制位，取奇数个1异或后会得到1，取偶数个1异或后会得到0，与取0的个数无关。

   #给定的最大数2015=（11111011111） 共11位。

   #对每一位分别计算期望值，假设取m个数，那么这m个数最大的位数就是11位，同时注意到2015这个数中取0的位置是第6位，此时，二进制100000表示的是64>99，所以第6位到第11位间都有可能是0或1；如果是1024的话，那么表示成(1000000000),那么第8位到第10位必定为0，此时求期望的话就应该排除掉这几位。

   #求每一位上为1的期望，抽取的数中某一位上共计有m个0，n个1，那么总共抽取了（m+n)个数，期望表示为：

（注意的一点是这里k要求为奇数，因为奇数个异或才为1）

那么总的期望值就是每一位为1的概率乘以这一位为1表示的数值2^i最后相加就行了，最后结果为1023.5。

2.方差

方差表示的是数据整体的离散程度，用的是与平均值距离的平方和来衡量。这里需要注意的就是方差计算时，在小样本时，下面要除以（n-1)这样才能与整体方差无偏，这里详细的证明就略去了，可以理解为你抽取n个样本，样本的方差在整体的自由度方向上随机分布，此时求方差，可以理解为在每一个自由度下的期望，而抽样时样本自由度为n-1,所以除以n-1表示其中每一个自由度下的方差期望。

3.协方差

• 协方差是两个随机变量具有相同方向变化趋势的度量。协方差大于0，表示变化趋势相同。协方差的上界是方差的乘积。
• 协方差（i,j)=(第i列所有元素-第i列均值）*（第j列所有元素-第j列均值）
• 协方差矩阵是对称矩阵
• 协方差矩阵表示的是不同维度间的协方差

4.协方差与独立、相关

独立一定不相关，不相关不一定独立。相关表示的是线性的相关。对于二维正态分布，独立与不相关是等价的。

5.变异系数：c.v=方差/均值

6.偏度：衡量随机变量概率分布的不对称性，是相当于平均值的不对称程度的度量。判断左偏右偏是看长尾在左还是再右，长尾在右是右偏。

7.峰度：表示的概率密度在均值处峰值高低的特征

8.切比雪夫不等式：方差越小，数据集中在均值附近的概率越大。

9.大树定理：当n→无穷大时，随机变量x1,x2,x3...的平均值在概率意义上无限趋近于期望μ。
10.中心极限定理：当n→无穷大时，随机变量x1,x2,x3...的和收敛到正态分布N(nμ,n δ^2)