L3 机器学习——逻辑回归

最新推荐文章于 2024-11-05 21:44:25 发布

今天补充能量了吗

最新推荐文章于 2024-11-05 21:44:25 发布

阅读量1.9k

点赞数 45

文章标签：机器学习逻辑回归人工智能

本文链接：https://blog.csdn.net/weixin_43934209/article/details/140479212

版权

🍨 本文為🔗365天深度學習訓練營中的學習紀錄博客
🍖 原作者：K同学啊 | 接輔導、項目定制

一、逻辑回归是什么？

逻辑回归（Logistic Regression）用来解决二分类问题，其输出值为离散的0和1。

逻辑回归使用线性回归+阈值的方式解决分类问题。此方法将数据拟合到一个logit函数中，从而完成对事件发生概率的预测。其中使用了Sigmoid函数对连续值进行压缩变换，输出值在0到1之间。

逻辑回归假设因变量 y 服从伯努利分布，而线性回归假设因变量 y 服从高斯分布。

二、LogisticRegression 函数详解

sklearn.linear_model.LogisticRegression 是 scikit-learn 库中用于实现逻辑回归（Logistic Regression）的函数。这个函数可以处理二元分类、多分类问题，并且提供了多种选项来调整模型的行为

1. 函数原型

LogisticRegression(
    penalty='l2',                 # 正则化类型，'l1', 'l2', 'elasticnet', 'none'
    dual=False,                   # 双对偶或原始方法
    tol=0.0001,                   # 优化过程的容差
    C=1.0,                        # 正则化强度的倒数，较小的值表示较强的正则化
    fit_intercept=True,           # 是否拟合截距项
    intercept_scaling=1,          # 拦截（截距）的缩放系数
    class_weight=None,            # 给定类别的权重，'balanced' 或 dict
    random_state=None,            # 随机数种子
    solver='lbfgs',               # 优化算法，{'newton-cg', 'lbfgs', 'liblinear', 'sag', 'saga'}
    max_iter=100,                 # 最大迭代次数
    multi_class='auto',           # 处理多类分类问题的方法，{'auto', 'ovr', 'multinomial'}
    verbose=0,                    # 是否在训练过程中输出日志信息
    warm_start=False,             # 是否使用上次调用的解作为初始解
    n_jobs=None,                  # 并行处理的作业数量
    l1_ratio=None                 # 混合正则化的弹性网络的l1比例
)

2. 常用参数解释

penalty：指定正则化类型。'l2' 为默认值，'l1' 适用于稀疏特征，'elasticnet' 是 L1 和 L2 的组合，'none' 不使用正则化。
dual：对数对偶或原始方法，默认值为 False，适用于样本数量大于特征数量的情况。
tol：停止优化的标准。
C：正则化强度的倒数，值越小正则化越强。
fit_intercept：是否拟合截距项。
intercept_scaling：仅在 solver='liblinear' 时使用。
class_weight：用于处理类别不平衡问题，可以设置为 'balanced' 或者自定义的权重字典。
random_state：随机数种子，保证结果的可重复性。
solver：选择优化算法，不同算法在不同数据集上的表现不同。
max_iter：优化算法的最大迭代次数。
multi_class：处理多类分类问题的方法，'auto' 会根据数据集自动选择。
verbose：控制训练过程中的详细输出。
warm_start：是否使用上次调用的结果作为初始值。
n_jobs：并行运算的作业数量，-1 表示使用所有CPU。
l1_ratio：仅在使用 'elasticnet' 正则化时使用，控制 L1 和 L2 的比例。

3. 常用方法

fit(X, y)：训练模型。
predict(X)：使用训练好的模型进行预测。
predict_proba(X)：返回每个样本属于各个类别的概率。
decision_function(X)：返回每个样本的置信度分数。
score(X, y)：返回给定测试数据和标签的平均准确度。
get_params()：获取模型参数。
set_params()：设置模型参数。

三、代码实现

第1步：导入需要的库

import numpy as np
import pandas as pd
import matplotlib.pyplot as plt
from sklearn.model_selection import train_test_split
from sklearn.linear_model import LogisticRegression
from matplotlib.colors import ListedColormap

第2步：导入数据集

# Load the data
file_name = 'Social_Network_Ads.csv'
df = pd.read_csv(file_name)
df.head()

第3步：分割数据集

# Slipt the data
X = df.iloc[:, [2, 3]].values
y = df.iloc[:, 4].values
print('X:', X.shape)
print('y:', y.shape)

X_train, X_test, y_train, y_test = train_test_split(X, y, test_size=0.25, random_state=0)
print('X_train:', X_train.shape)
print('X_test:', X_test.shape)
print('y_train:', y_train.shape)
print('y_test:', y_test.shape)

第4步：逻辑回归模型

# Logistic regression model
classifier = LogisticRegression(random_state=0)
classifier.fit(X_train, y_train)

第5步：预测结果

# Predict the test set
y_pred = classifier.predict(X_test)

第6步：评估预测结果

6.1 训练集可视化

这段代码的主要功能是绘制分类器在训练集上的决策边界，并将训练集数据点可视化。

X_set, y_set = X_train,y_train

x = np.arange(start=X_set[:,0].min()-1, 
              stop=X_set[:, 0].max()+1, 
              step=0.01)

y = np.arange(start=X_set[:,1].min()-1, 
              stop=X_set[:,1].max()+1, 
              step=100)

生成两个一维数组 x 和 y，分别代表特征空间中的网格点坐标。x 在第一个特征的范围内生成，步长为 0.01。y 在第二个特征的范围内生成，步长为 100。

#把x，y绑定为网格的形式
X1,X2 =np. meshgrid(x,y)

plt.contourf(X1, X2, classifier.predict(np.array([X1.ravel(),X2.ravel()]).T).reshape(X1.shape),
             alpha = 0.75, cmap = ListedColormap(('red', 'green')))

plt.xlim(X1.min(),X1.max())
plt.ylim(X2.min(),X2.max())

for i,j in enumerate(np.unique(y_set)):
    plt.scatter(X_set[y_set==j,0],
                X_set[y_set==j,1],
                c = ListedColormap(['red', 'green'])(i), 
                label=j)

plt.title('LOGISTIC(Training set)')
plt.xlabel('Age')
plt.ylabel('Estimated Salary')
plt.legend()
plt.show()

1. 使用 np.meshgrid() 函数将 x 和 y 绑定为网格的形式，即生成一个二维网格坐标矩阵 X1 和 X2。

2. 使用分类器对网格点进行预测，并用 plt.contourf 函数绘制决策边界。具体操作是：

将 X1 和 X2 展平，并转置形成 (n_samples, 2) 的二维数组。
使用分类器对每个网格点进行预测。
将预测结果重新整形为网格的形状，并绘制填充的等高线图，颜色映射为红色和绿色，透明度为 0.75。

3. 设置 x 轴和 y 轴的显示范围。

4. 使用 plt.scatter 函数绘制训练集数据点：

np.unique(y_set) 返回训练集中唯一的标签。
对每个标签 j，绘制相应的数据点，颜色分别为红色和绿色，添加标签 label。

5. 设置图表的标题、x 轴标签、y 轴标签，并显示图例，最后显示图表。

6.2 测试集可视化

# Visualize the prediction as the dots and the actual values as the line
X_set, y_set = X_test, y_pred

x = np.arange(start=X_set[:,0].min()-1, stop=X_set[:, 0].max()+1, step=0.01)
y = np.arange(start=X_set[:,1].min()-1, stop=X_set[:,1].max()+1, step=100)
#把x，y绑定为网格的形式
X1,X2=np. meshgrid(x,y)

plt.contourf(X1, X2, classifier.predict(np.array([X1.ravel(),X2.ravel()]).T).reshape(X1.shape),
             alpha = 0.75, cmap = ListedColormap(('red', 'green')))
plt.xlim(X1.min(),X1.max())
plt.ylim(X2.min(),X2.max())
for i,j in enumerate(np.unique(y_set)):
    plt.scatter(X_set[y_set==j,0],
                X_set[y_set==j,1],
                c = ListedColormap(('red', 'green'))(i), 
                label=j)

plt. title(' LOGISTIC(Test set)')
plt. xlabel(' Age')
plt. ylabel(' Estimated Salary')
plt. legend()
plt. show()

6.3 预测结果评估

# Evaluate the model
cm = confusion_matrix(y_test, y_pred)
accuracy = accuracy_score(y_test, y_pred)
print('Confusion Matrix:', cm)
print('Accuracy:', accuracy)