逻辑回归是一种用于解决二分类问题的机器学习算法。它的目标是根据输入数据预测输出结果的概率,通常用于分类问题中。
逻辑回归的基本思想是将输入数据通过一个线性模型,然后将线性模型的输出值通过一个sigmoid函数映射到0到1的范围内,表示为预测结果的概率值。具体来说,假设输入数据为 x x x,模型参数为 w w w和 b b b,则其输出结果可以表示为:
y ^ = σ ( w T x + b ) \hat{y} = \sigma(w^Tx + b) y^=σ(wTx+b)
其中, σ ( ⋅ ) \sigma(\cdot) σ(⋅)表示sigmoid函数,定义为:
σ ( z ) = 1 1 + e − z \sigma(z) = \frac{1}{1+e^{-z}} σ(z)=1+e−z1
sigmoid函数的输出值在0到1的范围内,可以被解释为预测结果为正例的概率。
在训练逻辑回归模型时,通常使用最大似然估计法(Maximum Likelihood Estimation,MLE)来估计模型参数 w w w和 b b b,使得模型的预测结果与真实标签之间的差异最小化。具体来说,MLE的目标是最大化所有训练样本上的似然函数:
L ( w , b ) = ∏ i = 1 n P ( y i ∣ x i ; w , b ) L(w,b) = \prod_{i=1}^n P(y_i|x_i;w,b) L(w,b)=i=1∏