logistic回归入门

最新推荐文章于 2024-09-14 17:02:52 发布

INFANHHH

最新推荐文章于 2024-09-14 17:02:52 发布

阅读量403

点赞数 9

文章标签：回归数据挖掘人工智能

本文链接：https://blog.csdn.net/m0_61948412/article/details/134794335

版权

逻辑回归（Logistic Regression）是一种常见的统计学习方法，用于建立二分类模型。它通过将线性回归模型的输出转换为概率值，从而进行分类预测。

逻辑回归的核心思想是使用一个称为“逻辑函数”（logistic function）或“Sigmoid函数”的特殊函数。这个函数可以将任何实数映射到0和1之间的概率值范围内。逻辑函数的公式如下：

g(z) = 1 / (1 + e^(-z))

其中，g(z)表示将输入z映射到概率范围内的输出。

在逻辑回归中，我们假设输出变量y服从伯努利分布，即y的取值为0或1。我们希望找到一个合适的参数向量θ，使得通过逻辑函数计算得到的预测值与实际值尽可能接近。

逻辑回归的模型可以表示为：

hθ(x) = g(θ^T*x) = 1 / (1 + e^(-θ^T*x))

其中，hθ(x)表示预测值，x是输入样本的特征向量，θ是待求的参数向量。

为了寻找最佳的参数向量θ，逻辑回归使用了最大似然估计的方法。最大似然估计的目标是最大化在给定参数下观察到训练样本的概率。

具体地，对于一个训练样本集合{(x1, y1), (x2, y2), ..., (xm, ym)}，其中xi是输入特征向量，yi是对应的输出标签，我们希望最大化似然函数L(θ)，其定义如下：

L(θ) = ∏(hθ(xi))^yi * (1 - hθ(xi))^(1-yi)

为了找到使似然函数最大化的参数θ，通常使用梯度下降法或其他优化算法进行求解。通过不断迭代更新参数θ，最终得到一个使得似然函数最大化的参数向量。

具体代码如下：

from sklearn.datasets import make_classification
from sklearn.model_selection import train_test_split
from sklearn.linear_model import LogisticRegression
from sklearn.metrics import classification_report

# 生成二分类数据集
X, y = make_classification(n_samples=1000, n_classes=2, random_state=1)

# 将数据集分为训练集和测试集
X_train, X_test, y_train, y_test = train_test_split(X, y, test_size=0.3, random_state=1)

# 创建LogisticRegression对象
clf = LogisticRegression()

# 训练模型
clf.fit(X_train, y_train)

# 在测试集上进行预测
y_pred = clf.predict(X_test)

# 打印分类报告
print(classification_report(y_test, y_pred))

# 输出参数向量
print(clf.coef_)

# 使用模型预测单个样本
sample = X_test[0]
print("Sample:", sample)
print("Predicted probability:", clf.predict_proba([sample]))
print("Predicted class:", clf.predict([sample]))

代码运行分析：

分类报告（classification report）：这个报告会给出模型在测试集上的性能评估，包括精确度（precision）、召回率（recall）、F1 值等指标。它将告诉模型对每个类别的分类效果如何。
参数向量：输出了训练得到的参数向量，这些参数用于计算逻辑函数，从而进行预测。这些参数可以帮助你理解模型是如何对输入特征进行权重分配的。
单个样本预测：选择了测试集中的第一个样本，输出了模型对该样本的预测概率和预测类别。这可以帮助理解模型对单个样本的预测过程。

实验总结：

数据集生成：使用sklearn库中的make_classification函数生成了一个二分类数据集。这个函数可以根据指定的参数生成具有不同特征和标签的数据集，用于模型的训练和评估。
模型训练与评估：将生成的数据集划分为训练集和测试集，然后使用LogisticRegression类创建了一个逻辑回归模型。通过调用fit方法对模型进行训练，并使用测试集进行预测。最后，使用classification_report函数输出了模型在测试集上的性能评估报告，包括精确度、召回率等指标。
参数向量和单个样本预测：输出了训练得到的参数向量，这些参数用于计算逻辑函数，从而进行预测。同时，选择了测试集中的第一个样本进行预测，输出了模型对该样本的预测概率和预测类别。

通过这个实验，可以更好地理解逻辑回归模型的使用和结果分析。可以通过分类报告来评估模型的整体性能，了解模型对不同类别的分类效果。同时，通过参数向量和单个样本预测可以深入了解模型的工作原理和预测过程。