qq_32742009的博客

代表条件概率时，此时作为一个随机变量。当不代表条件概率时于等价，此时不是一个随机变量，而是一个待估参数（是固定的，只是当前未知）。两者都表示在给定参数时的概率。以下为转载求解最大似然估计时发现有两种表示方法 from:Gregor Heinrich - Parameter estimation for text analysis 有上述两种方法表示的原因 ...

背景先来看看几个小例子：猎人师傅和徒弟一同去打猎，遇到一只兔子，师傅和徒弟同时放枪，兔子被击中一枪，那么是师傅打中的，还是徒弟打中的？ 一个袋子中总共有黑白两种颜色100个球，其中一种颜色90个，随机取出一个球，发现是黑球。那么是黑色球90个？还是白色球90个？看着两个小故事，不知道有没有发现什么规律...由于师傅的枪法一般都高于徒弟，因此我们猜测兔子是被师傅打中的。随机抽取一个球，是...

前言，MLE与MAP的联系在前一篇文章参数估计之极大似然估计中提到过频率学派和贝叶斯学派的区别。如下图在极大似然估计（MLE）中，我们求参数，通过使得似然函数最大，此时为一个待估参数，其本身是确定的，即使目前未知。MLE求的是怎样的参数可以让事件集发生的概率最大。通过不断改变固定的参数去寻找一个极大值。在最大后验估计（MAP）中，引用贝叶斯学派的思想，将参数看成一个随机变量...

从统计推断讲起统计推断是根据样本信息对总体分布或总体的特征数进行推断，事实上，这经典学派对统计推断的规定，这里的统计推断使用到两种信息：总体信息和样本信息；而贝叶斯学派认为，除了上述两种信息以外，统计推断还应该使用第三种信息：先验信息。下面我们先把是那种信息加以说明。总体信息：总体信息即总体分布或总体所属分布族提供的信息。譬如，若已知“总体是正态分布”等等 样本信息：即所抽取的样本的所有...

引言如果要将极大似然估计应用到线性回归模型中，模型的复杂度会被两个因素所控制：基函数的数目（的维数）和样本的数目。尽管为对数极大似然估计加上一个正则项（或者是参数的先验分布），在一定程度上可以限制模型的复杂度，防止过拟合，但基函数的选择对模型的性能仍然起着决定性的作用。上面说了那么大一段，就是想说明一个问题：由于极大似然估计总是会使得模型过于的复杂以至于产生过拟合的现象，所以单纯的使用极大...