数据挖掘中的高斯分布
高斯分布,无论是单变量还是多元变量,在统计数据挖掘中是非常有用的,包括一些底层数据假设是高度非高斯的数据挖掘模型。我们需要好好了解多元高斯。
为什么我们应该关注它
- 高斯像橘子汁和阳光一样是自然存在的
- 我们需要它来理解贝叶斯最优分类器
- 我们需要它来理解回归
- 我们需要它来理解神经网络
- 我们需要它来理解混合模型
- ……
PDF(概率密度函数)的熵
分布的熵越大,预测就越困难,压缩就越困难,分布就有越少的尖。
例1、“盒子”分布
例2、单位方差“盒子”分布
例3、“尖帽”分布
单位方差“尖帽”分布
“2尖”分布
单位方差分布的熵:
单变量高斯分布
单位方差高斯分布
普通高斯分布
我们描述X ~ N(μ,σ2),X是均值为μ方差为σ2的高斯分布,上图中, X ~ N(100,152)。
误差函数:假设X ~ N(0,1),ERF(x)等于X小于x的概率等于X的累积分布。
假设X ~ N(μ,σ2),
中心极限定理:如果(X1,X2,…Xn)是独立同分布的连续随机变量,那么定义,当n->∞时,p(z)->均值为E[Xi],方差为Var[Xi]的高斯分布。
二维高斯分布
,那么定义X~N(μ,Σ)的均值为:
,其中高斯参数是
,Σ是对称非负矩阵。可以证明E[X] = μ,Cov[X] = Σ(注意这是高斯分布的结果属性,不是定义)。
估计p(x):
- 步骤一:选一个向量X
- 步骤二:定义δ = x - μ
- 步骤三:计算与椭圆相交的等高线数量,形式为Σ-1,D=sqrt(δTΣ-1δ)=x和μ的马氏距离
- 步骤四:定义w = exp(-D2/2),在马氏距离的平方空间中,靠近μ的x有较大的权值,而远离的有较小的权值。
- 步骤五:
乘以w确保
。
例1:
观察:均值,主轴,非对角线协方差的含义,p(x)的最大梯度区域
例2:
例3:
在这个例子中,x和y几乎是独立的。
例4:
这个例子中,x和x+y明显是非独立的。
例5:
这个例子中,x和20x+y明显是非独立的。
多元高斯分布
那么定义X ~ N(μ,Σ)的均值为:
其中高斯参数为:
Σ是一个非负矩阵。另外,E[X] = μ和Cov[X] = Σ。(注意他们是高斯的结果属性,不是定义)
普通高斯分布
轴对齐高斯分布
球状高斯分布
退化的高斯分布
到目前为止,我们见到了高斯公式,对它的行为表现有个直观的认识,也了解了高斯协方差矩阵,接下来给一些高斯分布的技巧。
变量子集
写作
其中
这将是我们将m维分布拆分成变量子集的标准符号。
高斯边缘化依然是高斯分布
如果
那么U依然是高斯分布(这个事实不是很明显)。
线性变换后依然保持高斯分布
假设X是一个m维高斯随机变量X ~ N(μ,Σ),定义Y是一个p维的随机变量(注意p≤m),因此Y = AX
其中A是一个p x m矩阵,那么Y ~ N(Aμ,AΣ AT )
两个独立的高斯相加依然是高斯分布
如果X ~ N(μ , Σ ),Y ~ N(μ , Σ )并且X ⊥ Y,那么
为什么X和Y不独立它就不成立呢?
下面两种说明那种对呢?
如果X和Y是非独立的,那么X+Y是高斯分布,但是协方差会改变;
如果X和Y是非独立的,那么X+Y可能是非高斯分布。
有条件的高斯是高斯分布
如果那么,
其中
注意:当v的给定值是μv时,u的条件均值是μu;边缘均值是v的一个线性函数;条件方差真好等于或小于边缘方差;条件方差与v的给定值是无关的。
举例说明:
如果那么
,其中
同理m=82时
给出原高斯作对比
高斯和链式法则
让A是一个常数矩阵,如果那么
并且
总结一下可用的高斯工具:
最后举一个例子。
假设有一个聪明的势利眼,且有一个孩子。整个世界中,IQ用一个高斯分布N(100,152)描绘
另外有一个测试,是来侧IQ的分数,平均分是那个人的IQ。但是因为噪声的存在,所测的值可能比真实值IQ高或者低。
假设那个人非要拉着自己的孩子去做测试,孩子得到了130分,他惊喜他孩子的IQ是属于前2%。
某些人可能会想:这个测试肯定是不精确的,所以孩子的IQ可能是120或140,但是根据所给的结果,这个孩子很有可能是130。
最大似然IQ
MLE是能使观测数据最有可能出现的隐藏参数的值。在本例中,
但是这与给定观测值后最有可能的参数值不相同。
我们真正想要的是:
所求的是IQ的后验概率。
考虑上面说到的那么多高斯工具,我们打算这样计算:
如果在给定分数的情况下必须给出最有可能的IQ,那么
MAP是最大后验概率。
to be continue……