参数估计

• 回归问题：
  •   线性回归问题： y = wx+b
  •    对数几率回归问题: y = 1 / (1+exp(-(wx+b)))
• 参数估计方法：
  •   最小二乘参数估计的损失函数是用于度量预测属于该类或实际值的偏差；

      L = ∑(z - (wx+b))^2

• •   最大似然参数估计的损失函数是用于度量属于该类概率的分布的偏差。

     L =  ∑(z*log(y) + (1-z)*log(1-y)), 其中 y = 1 / (1+exp(-(wx+b)))  。 

    最大似然是达到拟合样本概率分布的最好的参数选取，即统计模型最合理。

   为啥用以上这种形式的公式？一种解释是， 信息熵 ，信源的平均不确定性应当为单个符号不确定性-logPi的统计平均值（E），可称为信息熵。因此这个似然函数表达了把样本识别为0或1的熵，我们要最小化这个熵。事实上，交叉熵 的本质就是最大似然。可以说交叉熵是直接衡量两个分布，或者说两个model之间的差异。而似然函数则是解释以model的输出为参数的某分布模型对样本集的解释程度。

   另一种解释是，对y取对数，那么log(y/(1-y)) = wx + b, 就变成了一个对几率(正反比例)线性回归问题。事实上，y = g(wx+b) 是个广义线性模型，这里的g是“联系函数（起到将线性回归模型的预测值与真实标记联系起来的作用）”，是需要单调可微的。

或者说：涉及到似然函数的许多应用中，更方便的是使用似然函数的自然对数形式，即“对数似然函数”。求解一个函数的极大化往往需要求解该函数的关于未知参数的偏导数。由于对数函数是单调递增的，而且对数似然函数在极大化求解时较为方便，所以对数似然函数常用在最大似然估计及相关领域中。