基于Python的机器学习系列（6）：二元逻辑回归

        在本篇博文中，我们将深入探讨二元逻辑回归这一基础的监督学习算法，它用于解决目标值为离散的分类问题。逻辑回归的核心思想是通过Sigmoid函数将线性回归模型的输出映射到0到1之间，从而能够进行二元分类。接下来，我们将从原理到代码实现，逐步解读逻辑回归的工作机制。

1. Logit/sigmoid函数

        逻辑回归的关键在于使用Sigmoid函数（也称为Logit函数）将线性回归模型的输出值转换为0到1之间的概率值。我们的模型输出通过Sigmoid函数，我们可以将其转化为概率值：

        在这里，e是著名的欧拉数。Sigmoid函数的作用在于，它能够将任意实数映射到区间(0, 1)内，适合用于分类问题的概率估计。

# lambda 方式实现
sigmoid_gen = lambda x: (1 + np.exp(-x))**-1

# 函数方式实现
def sigmoid(x):
    return 1 / (1 + np.exp(-x))

# 生成数据点并绘制Sigmoid曲线
x = np.arange(-5, 5, 0.1)
y = sigmoid(x)

plt.scatter(x, y)
plt.title('Sigmoid')
plt.xlabel('x')
plt.ylabel('y')
plt.show()

2. 导数（Derivative）

        为了在梯度下降中进行参数更新，我们需要计算Sigmoid函数的导数。通过计算可得，Sigmoid函数的导数为：

        这一导数公式非常重要，因为它在后续梯度下降的优化过程中起到关键作用。

def sigmoid(x, deriv=False):
    sig = 1 / (1 + np.exp(-x))
    if deriv:
        return sig * (1 - sig)
    else:
        return sig

# 生成导数数据并绘制曲线
y_deriv = sigmoid(x, deriv=True)

# 绘制Sigmoid函数及其导数
_, ax = plt.subplots(1, 2, figsize=(10, 2))
ax[0].scatter(x, y)
ax[0].set_title('Sigmoid')
ax[0].set_xlabel('x')
ax[0].set_ylabel('y')

ax[1].scatter(x, y_deriv)
ax[1].set_title('Derivative of the Sigmoid')
ax[1].set_xlabel('x')
ax[1].set_ylabel('y')
plt.show()

3. 逻辑回归的损失函数

        对于分类问题，通常使用二元交叉熵作为损失函数：

        该损失函数的定义基于概率的对数性质，能够有效地衡量模型输出与实际标签之间的差异。

def cross_entropy_loss(y, h):
    return - np.sum(y * np.log(h) + (1 - y) * np.log(1 - h))

# 示例数据
y = np.array([1, 1, 1, 0, 0, 0])
bad_h = np.array([0.01, 0.01, 0.01, 0.99, 0.99, 0.99])  # 错误的预测
good_h = np.array([0.99, 0.99, 0.99, 0.01, 0.01, 0.01])  # 正确的预测

print("Bad h should give high loss:", cross_entropy_loss(y, bad_h))
print("Good h should give low loss:", cross_entropy_loss(y, good_h))

4. 梯度计算

        在进行梯度下降时，我们需要计算损失函数相对于模型参数的梯度：

        该公式可以用于参数的更新，以最小化损失函数。

5. 逻辑回归的实现

        下面是逻辑回归模型的具体实现步骤：

1. 准备数据，添加截距项并进行数据预处理。
2. 使用交叉熵损失函数计算损失。
3. 基于损失计算梯度。
4. 更新参数。
5. 循环执行以上步骤，直到达到收敛条件。

# 准备数据
from sklearn import linear_model
from sklearn.datasets import make_classification
from sklearn.model_selection import train_test_split
from sklearn.preprocessing import StandardScaler

X, y = make_classification(n_samples=500, n_features=10, n_redundant=2, n_informative=4,
                           n_clusters_per_class=2, random_state=14)
plt.scatter(X[:, 0], X[:, 1], marker='o', c=y, s=25, edgecolor='k')

X_train, X_test, y_train, y_test = train_test_split(X, y, test_size=0.3)

# 数据标准化
scaler = StandardScaler()
X_train = scaler.fit_transform(X_train)
X_test = scaler.transform(X_test)

# 添加截距项
intercept = np.ones((X_train.shape[0], 1))
X_train = np.concatenate((intercept, X_train), axis=1)
intercept = np.ones((X_test.shape[0], 1))
X_test = np.concatenate((intercept, X_test), axis=1)

# 训练模型
def mini_batch_GD(X, y, max_iter=1000):
    w = np.zeros(X.shape[1])
    l_rate = 0.01
    batch_size = int(0.1 * X.shape[0])
    for i in range(max_iter):
        ix = np.random.randint(0, X.shape[0])  # 随机抽取样本
        batch_X = X[ix:ix+batch_size]
        batch_y = y[ix:ix+batch_size]
        loss, grad = gradient(batch_X, batch_y, w)
        if i % 500 == 0:
            print(f"Loss at iteration {i}", loss)
        w = w - l_rate * grad
    return w, i

def gradient(X, y, w):
    m = X.shape[0]
    h = h_theta(X, w)
    error = h - y
    loss = - np.sum(y * np.log(h) + (1 - y) * np.log(1 - h))
    grad = np.dot(X.T, error)
    return loss, grad

def sigmoid(x):
    return 1 / (1 + np.exp(-x))

def h_theta(X, w):
    return sigmoid(X @ w)

def output(pred):
    return np.round(pred)

w, i = mini_batch_GD(X_train, y_train, max_iter=5000)

6. 计算准确率

        我们可以使用以下代码计算模型的准确率：

from sklearn.metrics import accuracy_score

yhat = output(h_theta(X_test, w))
accuracy = accuracy_score(y_test, yhat)
print(f"Model accuracy: {accuracy}")

7. 逻辑回归的使用场景

        逻辑回归几乎总是作为基线模型使用。只要你的数据大致是线性的，逻辑回归通常表现非常出色。它的优势在于训练和预测速度快，参数可调性少，且与梯度下降算法兼容良好。然而，逻辑回归的主要局限在于它的线性假设。如果数据的关系是非线性的，可能需要考虑其他模型如SVM、KNN或决策树。

结语

        二元逻辑回归是机器学习中的一项基础分类算法，它通过将线性回归模型的输出映射为概率值，从而完成分类任务。理解并掌握逻辑回归能够为日后的机器学习研究奠定坚实的基础。敬请期待下一篇博文：基于Python的机器学习系列（7）：多元逻辑回归。

如果你觉得这篇博文对你有帮助，请点赞、收藏、关注我，并且可以打赏支持我！

欢迎关注我的后续博文，我将分享更多关于人工智能、自然语言处理和计算机视觉的精彩内容。

谢谢大家的支持！