机器学习——Logistic回归

目录

一.Logistic算法简述

1.算法内容

2.算法特点 

二.Logistic算法原理与内容

1.线性模型与回归

2.逻辑函数（sigmoid函数）

3.Logistic回归：极大似然法

三.Logistic实战

代码部分

测试结果：

四.实验小结

遇到的问题及解决方案：

结论：

---

一.Logistic算法简述

1.算法内容

Logistic回归是一种广泛使用的统计方法，用于分析一个或多个自变量（预测变量）与一个二分类因变量（响应变量）之间的关系。它是广义线性模型的一种形式，特别适用于研究事件发生的概率（如是/否、成功/失败、健康/病态等）。

2.算法特点 

1. 输出变量：Logistic回归主要处理因变量为二分类的情况，即因变量的结果只有两种可能的状态，例如0和1，通常表示为“失败”和“成功”。

2. 概率估计：Logistic回归不直接预测事件的发生与否，而是预测事件发生的概率。这个概率是通过逻辑函数（logistic function），也称为sigmoid函数，来计算的。

3. Sigmoid函数：Sigmoid函数是一个S形的曲线，可以将任意实数值映射到(0, 1)区间内，用于表示概率。在Logistic回归中，这个函数的数学表达式为：

   P(Y=1) = e^(b0 + b1X1 + ... + bnXn) / (1 + e^(b0 + b1X1 + ... + bnXn))

   其中，P(Y=1)表示因变量为1的概率，X1...Xn表示自变量，b0是截距项，b1...bn是与自变量相对应的系数。

4. 估计系数：Logistic回归通过最大似然估计（MLE）来估计模型参数，即寻找一组参数，使得观测到的样本数据出现的概率最大

5. 多分类问题：虽然标准的Logistic回归是针对二分类问题设计的，但它可以通过某些技术（如一对多或多项Logistic回归）来扩展到多分类问题。

二.Logistic算法原理与内容

1.线性模型与回归

      在二维平面上，线性模型一般是这样的形式来出现，但是在实际情况中，输入的样本一般都会有不止一个特征，因此一般情况下的线性模型如下：

                                   f(x)=w1x1+w2x2+...+wdxd+b

我们以向量形式表示就是：

                                      

2.逻辑函数（sigmoid函数）

 预测与输出标记：

                                      

寻找函数将分类标记与线性回归模型输出联系起来。

3.Logistic回归：极大似然法

最大似然估计就是通过已知结果去反推最大概率导致该结果的参数。

Logistic回归使用最大似然估计来确定模型参数( b_0, b_1, ..., b_n )的值。最大似然估计的目标是找到一组参数，使得观察到的样本数据发生的概率最大化。具体来说，就是要最大化似然函数：

                                  L(b0​,b1​,...,bn​)=i=1∏m​[P(Y=1∣X)]yi​[1−P(Y=1∣X)]1−yi​

其中，( m ) 是样本数量，( y_i ) 是第i个样本的因变量值。

 

三.Logistic实战

代码部分

1.导入相关库

import numpy as np
import pandas as pd
from sklearn.model_selection import train_test_split
from sklearn.linear_model import LogisticRegression
from sklearn.metrics import accuracy_score

2.加载数据

data = pd.read_csv('data.csv')

3.数据预处理：在训练模型之前，我们需要对数据进行一些预处理。

X = data.drop('target', axis=1)
y = data['target']

4.划分训练集和测试集：接下来，我们将数据划分为训练集和测试集。我们将使用70%的数据进行训练，30%的数据进行测试。

X_train, X_test, y_train, y_test = train_test_split(X, y, test_size=0.3, random_state=42)

5.创建和训练模型：现在我们可以创建逻辑回归模型，并用训练数据对其进行训练。

model = LogisticRegression()
model.fit(X_train, y_train)

6.模型预测：模型训练完成后，我们可以用它来预测测试数据。

y_pred = model.predict(X_test)

7.评估模型：最后，我们需要评估模型的性能。在二元分类问题中，常用的评估指标包括准确率、精确率、召回率和F1分数等。这里我们计算并打印模型的准确率。

print('Accuracy: ', accuracy_score(y_test, y_pred))

测试结果：

四.实验小结

遇到的问题及解决方案：

• 在实验过程中，初次实现梯度下降时遇到了收敛速度慢的问题。通过调整学习率和增加迭代次数，最终使模型收敛。
• 遇到了类别不平衡的问题，这会影响模型的泛化能力。通过采样技术（如过采样少数类或欠采样多数类）改善了数据的平衡性。

结论：

逻辑回归是一个强大而简单的线性分类器，通过实验发现它在处理二分类问题上具有良好的性能。然而，模型的成功度很大程度上取决于数据预处理和特征工程的质量。适当的参数调整和正则化也是防止过拟合和提高模型性能的关键。在未来的工作中，可以探索更多的数据和特征工程技术，以进一步提升模型的预测能力。此外，对于非线性可分的数据，可以考虑使用核技巧或者转向更复杂的模型，如支持向量机（SVM）或神经网络。