逻辑回归：从极大似然估计角度推导损失函数

1. 逻辑回归的概率表示（Sigmoid函数）

其中 w 和 b 是我们需要找到的模型参数。

2. 构建似然项

对于二分类问题，我们希望将 P(y|x;w) 表达成一个通用形式，它可以处理 y=1 和 y=0 两种情况。这可以通过将 P(y|x) 写为：

那么第 i 个样本点的似然项为：

这个公式表示在参数 w0 和 w1 给定的情况下，观测到数据 yi 的概率。

3. 构建似然函数

通用的表达形式：

这里，n 是样本的数量。这个公式表示了在给定的模型参数下，得到观测数据的概率。

（1）两边取对数：

（2）将乘积转换为求和：

（3）将幂运算转换为乘法：

至此，我们从原始的似然函数得到了对数似然函数，这个对数似然函数的形式就是我们常说的交叉熵损失函数（Cross-Entropy Loss Function）。在实际的优化过程中，我们通常需要将问题转化为最小化问题。因此，我们将对数似然函数取负，得到负对数似然函数，即：

我们的目标就是寻找一组参数使得这个负对数似然函数（也就是损失函数）最小。

4. 极大似然估计

极大似然估计（Maximum Likelihood Estimation, MLE）是一种基于概率统计的参数估计方法。它的基本思想是：在已知某个参数能使得数据出现的概率最大的情况下，我们就可以认为这个参数就是最优参数。

换句话说，给定一个模型和一组观测数据，我们可以计算出在不同参数值下得到这组数据的概率。这个概率被称为似然函数。我们的目标就是找到使得这个概率（即似然函数）最大的参数值，这个参数值就是极大似然估计的结果。