【机器学习】【逻辑回归】最大似然估计的推导和求解步骤和梯度上升算法求解

伯努利分布

如果随机变量X∈{0, 1}，并且相应的概率满足：

    P(X=1) = p，0<p<1

    P(X=0) = 1 - p

则称随机变量X服从参数为p的伯努利分布。

则随机变量X的概率密度函数为：

逻辑回归

    逻辑回归却不是回归算法而是一个分类算法~，线性回归是一个回归算法。逻辑回归的样本数据集是一个离散分布的样本集，逻辑回归的模型值不再是连续值，而是{0, 1}这样的离散值。在Logistic Regression中，需要一个假设：样本事件符合伯努利分布，即0-1分布、两点式分布。

逻辑回归的假设函数

逻辑回归的似然函数

逻辑回归的对数似然函数

在求逻辑回归的对数似然函数之前，先求预测函数hθ(