机器学习 - 极大似然估计

极大似然估计是一种非常著名的参数估计方法。在机器学习算法 - logistic回归中体现的淋漓尽致。在我们有了一些样本train_x及其对应的label - train_y之后，我们想对样本进行参数估计，使得样本能生成train_y的概率最大。而机器学习中，我们假设样本是独立同分布的，因此我们就需要使所有样本的联合概率最大化，也就是似然函数最大化。通过对似然函数取对数，容易计算出参数。

落实到logistic回归中，train_x的每个的特征的系数是我们想要求的参数；我们将W'X带入到sigmoid函数，得到类似概率结果，求出每个样本的概率相乘得到联合概率，最大化联合概率，使用优化算法求出参数W。