【实践】CTR预估中的贝叶斯平滑方法（二）

1. 前言

这篇博客主要是介绍如何对贝叶斯平滑的参数进行估计，以及具体的代码实现。

首先，我们回顾一下前文中介绍的似然函数，也就是我们需要进行最大化的目标函数：

下面我们就基于这个目标函数介绍怎样估计参数。

 

2. 参数估计的几种方法

1. 矩估计

矩估计在这里有点乱入的意思：），因为它其实不是用来最大化似然函数的，而是直接进行参数的近似估计。

矩估计的方法要追溯到19世纪的Karl Pearson，是基于一种简单的 “替换” 思想建立起来的一种估计方法。 其基本思想是用样本矩估计总体矩. 由大数定理，如果未知参数和总体的某个(些)矩有关系，我们可以很自然地来构造未知参数的估计。具体计算步骤如下：

1）根据给出的概率密度函数，计算总体的原点矩（如果只有一个参数只要计算一阶原点矩，如果有两个参数要计算一阶和二阶）。由于有参数这里得到的都是带有参数的式子。比如，有两个参数时，需要先计算出：期望  ; 方差  。在Beta分布中，可以计算得到，E(x) = α / (α+β)，D(x) = αβ / (α+β)²(α+β+1)。

2）根据给出的样本，按照计算样本的原点矩。通常它的均值mean用  表示，方差var用  表示。（另外提一句，求时，通常用n-1为底。这样是想让结果跟接近总体的方差，又称为无偏估计）