机器学习 | 逻辑回归Logistic Regression

逻辑回归（Logistic Regression）

逻辑回归（Logistic Regression）是一种用于二分类问题的统计学习方法，它通过对输入特征的线性组合应用sigmoid函数将输出映射到[0, 1]的范围，表示某个样本属于某一类的概率

模型假设

逻辑回归基于以下假设：

1. 数据服从伯努利分布，是二分类问题。
2. 线性关系：特征的线性组合与输出的对数几率（log-odds）存在关系。

模型表示

给定输入特征向量 $\mathbf{x}$，逻辑回归模型的输出通过逻辑函数（也称为sigmoid函数）表示：

$$h(\mathbf{x})=\frac{1}{1+e^{-{\theta }^T\mathbf{x}}}$$

其中，$\theta$ 是模型的参数向量，$e$ 是自然对数的底。

决策边界

逻辑回归的决策边界是一个线性平面，将数据分为两个类别。决策边界是由模型参数 $\theta$ 决定的。

损失函数

逻辑回归使用对数损失交叉函数来度量模型的性能：

$$J(\theta )=-\frac{1}{m}\sum _{i=1}^m\left[y^{(i)}\log (h({\mathbf{x}}^{(i)}))+(1-y^{(i)})\log (1-h({\mathbf{x}}^{(i)}))\right]$$

其中，$m$ 是样本数量，$y^{(i)}$ 是实际类别，$h({\mathbf{x}}^{(i)})$ 是模型预测的概率。而后可以使用梯度下降或牛顿法进行优化。

拓展：Softmax多分类

当涉及到多分类问题时，只需将sigmoid函数更换为softmax函数，它将一个实数向量转换为概率分布。Softmax函数的定义如下：

给定一个实数向量 $\mathbf{z}=[z_1,z_2,\dots ,z_C]$，Softmax函数的输出是一个具有 C 个元素的概率分布 $\mathbf{p}=[p_1,p_2,\dots ,p_C]$，其中：

$$p_i=\frac{e^{z_i}}{{\sum }_{j=1}^C{e}^{z_j}}$$

这里，$e$ 是自然对数的底，${\sum }_{j=1}^C{e}^{z_j}$ 是所有元素的指数和。

而损失函数采用交叉熵损失函数，交叉熵（Cross-Entropy）损失函数是在分类问题中常用的一种损失函数，它用于衡量两个概率分布之间的差异。

对于多分类问题，交叉熵损失函数的表达式为：

$$H(y,\hat{y})=-\sum _i{y}_i\log ({\hat{y}}_i)$$

其中：

• $y_i$ 是实际的标签的独热编码（一个类别为1，其他为0），
• ${\hat{y}}_i$ 是模型预测的各类别概率。