西瓜书学习——对数几率回归

对数几率回归（Logistic Regression）是一种广泛应用于分类问题的统计方法，特别是用于二分类问题。尽管它的名字中包含“回归”，但它实际上是一种分类算法，用于估计一个样本属于某个类别的概率。

对数几率回归的核心是使用逻辑函数（Logistic Function），也称为 sigmoid 函数，将线性回归的输出映射到 0 和 1 之间的概率。sigmoid 函数定义为：

$$S(x)=\frac{1}{1+e^{-x}}$$

在这个函数中，$x$ 是线性回归模型的输出，即 ${\mathbf{w}}^T\mathbf{x}+b$，其中 $\mathbf{w}$ 是权重向量，$\mathbf{x}$ 是特征向量，$b$ 是偏置项。

对数几率回归模型的输出可以解释为样本属于正类（通常标记为1）的概率：

$$P(y=1|\mathbf{x})=\frac{1}{1+e^{-({\mathbf{w}}^T\mathbf{x}+b)}}$$

对于二分类问题，负类（通常标记为0）的概率可以通过 1 减去正类的概率得到：

$$P(y=0|\mathbf{x})=1-P(y=1|\mathbf{x})$$

在训练过程中，对数几率回归模型通过最大化对数似然函数来估计参数 $\mathbf{w}$ 和 $b$。对数似然函数定义为：

$$L(\mathbf{w},b)=\sum _{i=1}^N{y}_i\log (P(y_i=1|{\mathbf{x}}_i))+(1-y_i)\log (P(y_i=0|{\mathbf{x}}_i))$$

其中，$N$ 是样本数量，$y_i$ 是第 $i$ 个样本的标签（0或1），${\mathbf{x}}_i$是第 $i$ 个样本的特征向量。

对数几率回归模型通常使用梯度下降法或者其变体（如随机梯度下降法、批量梯度下降法等）来求解最优参数。在实际应用中，对数几率回归因其模型简单、易于解释和实现而被广泛使用。