机器学习数学基础----（数学期望、方差、协方差。。。参数估计）

数学期望

离散型的数学期望

引例：
有n个工人生产同样的零件，考察某一天的产量，得到：生产a1件有n1个人生产，生产a2件有n2个人生产，生产a3件有n3个人生产，。。。
生产ak件有nk个人生产，这一天的平均每人生产多少产品。

若以X表示每个人的产量，则X是一个随机变量，他的可能值为a1,a2,…ak,而n1/n是事件（X=ai,i=1,2,…k）的频率。则有：

离散数学期望的定义

例子：

X	-1	0	1
P	0.35	0.2	0.45

• 常见的分布期望

• 二点分布：EX = p
• 二项分布：EX = np
• 泊松分布：EX = r

连续型的数学期望

p(x)为概率密度，可能值为为x和p(x)dx，分别对应于离散随机变量情况下的"xi"和“pi”，因此，数学期望的定义如下：
若X为连续型随机变量，p(x)为概率密度，则有：

• 常见连续的分布期望

• 均匀分布：EX = (a+b)2
• 指数分布：EX = 1 / r
• 正态分布：EX =u

数学期望的性质

方差

为了衡量随机变量的偏离程度，采用 |X-E(X)|的平均值 来衡量，但是这种运算不方便，故采用（X-E(X))^2来代替。

离散型方差

连续型方差

常利用如下公式计算：

证明：

方差的性质

协方差和相关系数

数字特征DX，DY，只反映了X与Y 的各自离开平均值的偏离程度，他们之间相互联系没有提供任何信息，自然我们也希望有一个数字特征能够在一定的程度上反映这种关系，如果X1和X2相互独立则有：

推导：

故协方差的定义可以为：
设（X,Y）是一个二维随机变量，如果，E(X-EX)(Y-EY)存在，则称他为X与Y的协方差，记做：

标准协方差（相关系数）定义：

极大似然估计

极大然估计是依据极大似然原理——一个实验有若干个可能结果A1，A2 ，。。。。如果在一次实验中，A1发生了，则认为A1的发生概率最大。

示例：

设总体X-N(u,r^2),使用样本X1,X2,…Xn求u,r的极大似然估计：