极大似然估计是一种非常著名的参数估计方法。在机器学习算法 - logistic回归中体现的淋漓尽致。在我们有了一些样本train_x及其对应的label - train_y之后,我们想对样本进行参数估计,使得样本能生成train_y的概率最大。而机器学习中,我们假设样本是独立同分布的,因此我们就需要使所有样本的联合概率最大化,也就是似然函数最大化。通过对似然函数取对数,容易计算出参数。
落实到logistic回归中,train_x的每个的特征的系数是我们想要求的参数;我们将W'X带入到sigmoid函数,得到类似概率结果,求出每个样本的概率相乘得到联合概率,最大化联合概率,使用优化算法求出参数W。