通过MLE来估计逻辑回归模型的参数

要通过最大似然估计（Maximum Likelihood Estimation, MLE） 来估计逻辑回归模型的参数 $w$，我们可以按照以下步骤进行。最大似然估计的目标是找到一组参数，使得在给定数据的情况下，模型输出的概率尽可能匹配实际的观测值。

1. 写出模型的似然函数（Likelihood Function）

对于逻辑回归模型，假设我们有 $N$ 个样本，每个样本的数据由 $x_i$ 表示，其标签 y i ∈ { 0 , 1 } y_i \in \{0, 1\} yi​∈{ 0,1} 表示这个样本的类别。逻辑回归模型的输出是类别 $y=1$ 的概率 $p(y=1|x_i)$，用逻辑函数 $\sigma (\cdot )$ 表示为：
$$p(y_i=1|x_i)=\sigma (w^{\top }\varphi (x_i))=\frac{1}{1+e^{-w^{\top }\varphi (x_i)}}$$
那么，对于类别 $y=0$ 的概率为：
p ( y i = 0 ∣ x i ) = 1 − σ ( w ⊤ ϕ ( x i ) ) = e − w ⊤ ϕ ( x i )