4 - L3 机器学习 | 逻辑回归

•  🍨 本文为🔗365天深度学习训练营 中的学习记录博客
• 🍖 原作者：K同学啊

逻辑回归

二分类问题 在二分类问题中，目标变量只有两个可能的取值，通常记作0和1。逻辑回归的任务是根据输入的特征，预测目标变量为1的概率。

逻辑函数（Logistic Function） 逻辑回归使用逻辑函数（或称Sigmoid函数）将线性回归模型的输出转换为一个（0, 1）区间内的概率值。逻辑函数的公式为：

​

其中，𝑧 是线性回归模型的输出，即特征的线性组合：

​

逻辑回归的训练

逻辑回归通过最大似然估计（Maximum Likelihood Estimation, MLE）来估计模型参数（ 𝛽），从而使模型预测的概率最符合训练数据。

逻辑回归与线性回归的比较

相同点

广义线性模型：逻辑回归和线性回归都是广义线性模型（Generalized Linear Models, GLM）。二者都通过线性组合特征来预测目标变量。

输入特征：两者使用相同的输入特征，特征可以是连续的也可以是离散的。

不同点

目标变量分布：线性回归假设目标变量（因变量）服从高斯分布（正态分布），而逻辑回归假设目标变量服从伯努利分布。

输出：线性回归的输出是一个连续的数值，而逻辑回归的输出是一个介于0到1之间的概率值。

损失函数：线性回归使用均方误差（Mean Squared Error, MSE）作为损失函数，而逻辑回归使用对数似然损失（Log-Likelihood Loss）。

适用场景

线性回归：适用于回归问题，即预测一个连续的数值，如房价预测、温度预测等。

逻辑回归：适用于分类问题，即预测样本属于某一类别的概率，特别是二分类问题，如垃圾邮件分类、疾病诊断等。

总结

逻辑回归通过分析训练数据中的特征，构建一个概率模型，用于预测新数据的分类结果。其本质是通过逻辑函数将线性回归的输出转换为概率，从而实现二分类问题的解决。与线性回归不同，逻辑回归更关注分类问题，并且对目标变量的分布假设不同。理解逻辑回归的原理和应用场景对于解决实际的分类问题非常重要。

1. 数据预处理

# import libraries
import numpy as np
import pandas as pd
import matplotlib.pyplot as plt
from sklearn import datasets
from matplotlib.colors import ListedColormap

# Load dataset
dataset = pd.read_csv('Social_Network_Ads.csv')
dataset

​

X = dataset.iloc[ : , [2,3]].values
y = dataset.iloc[ : ,4].values

X.shape, y.shape

​

# Split the data into training and testing sets
from sklearn.model_selection import train_test_split

X_train, X_test, y_train, y_test = train_test_split(X, y,
                                                    test_size=0.25,
                                                    random_state=0)

X_train.shape,y_train.shape

​ 

# Standardize the features
from sklearn.preprocessing import StandardScaler

sc = StandardScaler()
X_train = sc.fit_transform(X_train)
X_test = sc.transform(X_test)

# Create a logistic regression model and fit it to the training data
from sklearn.linear_model import LogisticRegression

classifier = LogisticRegression()
classifier.fit(X_train, y_train)

 

# Generate predictions on the test set
y_pred = classifier.predict(X_test)

from matplotlib.colors import ListedColormap

X_set, y_set = X_train,y_train

x = np.arange(start=X_set[:,0].min()-1,
              stop=X_set[:, 0].max()+1,
              step=0.01)

y = np.arange(start=X_set[:,1].min()-1,
              stop=X_set[:,1].max()+1,
              step=0.01)

x.shape, y.shape

# Visualize the decision boundary
def plot_decision_boundary(X, y, classifier, title):
    X_set, y_set = X, y
    X1, X2 = np.meshgrid(np.arange(start=X_set[:, 0].min() - 1, stop=X_set[:, 0].max() + 1, step=0.01),
                         np.arange(start=X_set[:, 1].min() - 1, stop=X_set[:, 1].max() + 1, step=0.01))
    plt.contourf(X1, X2, classifier.predict(np.array([X1.ravel(), X2.ravel()]).T).reshape(X1.shape),
                 alpha=0.75, cmap=ListedColormap(('red', 'green')))
    plt.xlim(X1.min(), X1.max())
    plt.ylim(X2.min(), X2.max())
    for i, j in enumerate(np.unique(y_set)):
        plt.scatter(X_set[y_set == j, 0], X_set[y_set == j, 1],
                    color=ListedColormap(('red', 'green'))(i), label=j)
    plt.title(title)
    plt.xlabel('Age (standardized)' )
    plt.ylabel('Estimated Salary (standardized)')
    plt.legend()
    plt.show()

# Plot the decision boundary for the training set
plot_decision_boundary(X_train, y_train, classifier, title='Logistic Regression (Training set)')

 

# Plot the decision boundary for the testing set
plot_decision_boundary(X_test, y_pred, classifier, title='Logistic Regression (Testing set)')

 

总结 

代码展示了一个完整的逻辑回归机器学习过程。首先，我们加载并预处理数据，然后将其分割为训练集和测试集。接着，使用逻辑回归模型拟合训练数据，并对测试数据进行预测。为了评估模型的性能，我们计算了准确率、精确度、召回率和F1评分。最后，通过可视化决策边界和数据点，我们直观地展示了模型在训练集上的分类效果