omadesala的专栏

转自http://blog.csdn.net/myan/article/details/649018接着理解矩阵。上一篇里说“矩阵是运动的描述”，到现在为止，好像大家都还没什么意见。但是我相信早晚会有数学系出身的网友来拍板转。因为运动这个概念，在数学和物理里是跟微积分联系在一起的。我们学习微积分的时候，总会有人照本宣科地告诉你，初等数学是研究常量的数学，是研究静态的数学，高等数学是变量

高斯混合模型如果有c个高斯分布，并且这k个个高斯分布的选择都符合多项式分布，那么有下面的公式那么样本x 是一个服从多元高斯分布的随机试验中产生的抽样那么可以写出关于样本值（第i个样本）的概率密度函数,假设一共c个类别那么我们可以定义m个观测样本的对数似然函数对数复合函数求导公式代入上面的值进一步可以写成下面的式子由于对第k个正态分布的均值求偏导，因此除第k个正态分布外，其他分部不包含第k个正态分布...

假设X是有两个随机向量组成其中假设X服从多元高斯分布其中多元正态分布

多元正态分布的条件概率分布假设分别有两个多维向量和其中那么的协方差矩阵为：那么的协方差矩阵为：那么的协方差矩阵为：那么的协方差矩阵为：那么向量的协方差矩阵为其中其中

高斯分布抽样        标准正态分布         给定均值，方差的正态分布          如何从标准正态分布生成给定均值方差的抽样            上面是对应的一维的情况，在多维的情况下有下面的结论       

最大熵方法与概率密度估计http://www.docin.com/p-297885265.html离散型随机变量的信息熵考虑一个一维的离散的随机变量X（此处不考虑扩展到多维的情况），可以取离散的值,对应的概率分别为则离散型随机变量的信息熵为：连续型随机变量的信息熵考虑一个一维的连续型的随机变量X，若它的概率密度分布函数为f(x),那X在(a,b)之间的信息熵为：

GMM 与 KDE 区别与联系对拿到一堆数据，可以通过KDE 方法来估计概率密度，Parzen 窗方法 通过不同的窗口作为基地，用函数逼近的思路来逼近真实的分布函数混合高斯模型，同样也用了多个高斯分布做了线性组合这两者之间是一样的么？

转自： http://hi.baidu.com/leifenglian/item/636198016851cee7f55ba652从二项式分布到多项式分布-从Beta分布到Dirichlet分布一、前言参数估计是一个重要的话题。对于典型的离散型随机变量分布：二项式分布，多项式分布；典型的连续型随机变量分布：正态分布。他们都可以看着是参数分布，因为他们的函数形式都被一

引用出处http://changxiaofu123.blog.163.com/blog/static/1296388202010066917794/问题的提出        1.  逆概问题    “假设袋子里面有N个白球，M个黑球，你伸手进去摸一把，摸出黑球的概率是多大”。    而一个自然而然的问题是反过来：“如果我 们事先并不知道袋子里面黑白球的比例，而是闭着眼睛

转自http://blog.csdn.net/myan/article/details/647511前不久chensh出于不可告人的目的，要充当老师，教别人线性代数。于是我被揪住就线性代数中一些务虚性的问题与他讨论了几次。很明显，chensh觉得，要让自己在讲线性代数的时候不被那位强势的学生认为是神经病，还是比较难的事情。可怜的chensh，谁让你趟这个地雷阵？！色令智昏啊！线

原文地址：http://www.mvstat.net/tduong/research/seminars/seminar-2001-05/核概率密度估计本文分为三个部分：第一部分是直方图，讨论了如何创建它以及它的属性是什么样的。第二部分是核密度估计，介绍了它对比直方图有哪些改进和更一般性的特点。最后一部分是，为了从数据中抽取所有重要的特征，怎么样选择最合适，漂亮的核函数。直方图

上一篇从零基础理解贝叶斯开始，已经提到了似然性，贝叶斯公式的变形，这一篇进一步讲这些概率的模型之间的关系极大释然法最大似然方法，这个方法是要对已有观测样本的情况下，假定每一个观察样本之间是独立的，并且我们有了一个样本所属的概率模型。这里有三个重要的地方需要注意1. 观测样本的存在2. 每个样本之间是独立的3. 所有样本符合一个概率模型第一点这个很好理解，只要

多元正态分布先定义一个d元随机向量，这里用列向量来表示，每一个元素都是一个一元随机变量，如  ,其转置为 其中表示这个多元随机变量的第i个分量，它是一个一维的随机变量。高斯分布主要是用均值和方差来作为参数的分布，我们来看看随机向量的均值和方差关于方差，在多元分布里面，就是协方差矩阵其中