机器学习——Logistic回归

目录

Logistic回归的简要介绍

Logistic回归知识

最小二乘法与参数求解

梯度下降算法

Logistic回归实现

总结：

---

Logistic回归的简要介绍

Logistic回归概念：

Logistic回归是一种广泛使用的统计方法，用于预测一个事件的概率，它是分类问题中的一个基础算法，尤其是在二分类问题中应用非常普遍。虽然Logistic回归模型包含了线性回归的成分，即特征的线性组合，但它通过引入逻辑函数将线性回归模型扩展到了分类问题上。这种模型被称为广义线性模型，其中Logistic回归是处理二元分类问题的特例。

Logistic回归的优缺点：

优点：

1. 实现简单，计算代价不高。
2. 输出结果是概率，可以直观地理解。
3. 对于线性关系的解释性强。

缺点：

1. 对于非线性关系，表现不如决策树和支持向量机等算法。
2. 容易受到数据不平衡的影响。
3. 需要预先假设数据特征和输出结果之间存在线性关系。

应用场景：

1. 医疗领域：Logistic回归常用于预测疾病的发生风险，如根据患者的年龄、体重、血压等因素来预测心脏病发作的概率。

2. 金融领域：在信用评分中，Logistic回归可以用来评估客户违约的概率，从而帮助银行决定是否批准贷款。它也被用于欺诈检测，比如预测某笔交易是否为欺诈行为。

3. 市场营销：企业可以使用Logistic回归来预测客户是否会购买某产品，或者是否会对特定的营销活动作出响应。

Logistic回归知识

在Logistic回归模型中，我们首先对特征进行线性组合，然后将这个线性组合的结果通过Sigmoid函数转换，使得输出值落在(0,1)区间内，这个输出值可以被解释为事件发生的概率。

线性模型一般形式：

其中x=(x1, x2, ..., xd)是由d维属性描述的样本，其中 xi 是 x 在第 i 个属性上的取值。

Sigmoid函数的表达式与表现：

其中，z 是输入特征的线性组合。

因此，Logistic回归模型的形式如下：

最小二乘法与参数求解

线性回归目标：

即使回归预测值与真实值的误差最小。

公式表示为：

分别对w和b求导，可得：

得到解析/闭合（closed-form）解：

其中

梯度下降算法

梯度下降算法是一种用于找到损失函数最小值的优化方法。在Logistic回归中，通常使用的损失函数是对数似然损失函数，目标是最小化这个损失函数。

Logistic回归实现

在实现中，我使用了鸢尾花数据集，只使用了两种类型的鸢尾花和其中的两个特征。

from numpy import *
from sklearn import datasets
from sklearn.model_selection import train_test_split

sigmoid函数：

# Sigmoid函数定义
def sigmoid(inX):
    return 1.0 / (1 + exp(-inX))

梯度上升算法：

# 梯度上升算法
def gradAscent(dataMatIn, classLabels):
    dataMatrix = mat(dataMatIn)             # 转换为NumPy矩阵
    labelMat = mat(classLabels).transpose() # 转换为NumPy矩阵，并且矩阵转置
    m, n = shape(dataMatrix)
    alpha = 0.001                           # 学习率
    maxCycles = 500                         # 迭代次数
    weights = ones((n, 1))                  # 权重初始化为1
    for k in range(maxCycles):
        h = sigmoid(dataMatrix * weights)   # 矩阵相乘，计算sigmoid函数
        error = (labelMat - h)              # 计算误差
        weights = weights + alpha * dataMatrix.transpose() * error  # 更新权重

测试：

# 使用鸢尾花数据集进行测试
def colicTest():
    # 加载鸢尾花数据集
    iris = datasets.load_iris()
    X = iris.data[:, :2]  # 只取前两个特征
    y = (iris.target != 0) * 1  # 将目标转换为二分类问题，非0类别标记为1
    
    # 划分训练集和测试集
    X_train, X_test, y_train, y_test = train_test_split(X, y, test_size=0.3, random_state=0)
    
    trainWeights = gradAscent(X_train, y_train)
    errorCount = 0
    numTestVec = 0.0
    for i in range(len(X_test)):
        numTestVec += 1.0
        if int(sigmoid(sum(array(X_test[i]) * trainWeights)) > 0.5) != int(y_test[i]):
            errorCount += 1
    errorRate = (float(errorCount) / numTestVec)
    print("测试集错误率: %f" % errorRate)
    return errorRate

# 多次测试并计算平均错误率
def multiTest():
    numTests = 10
    errorSum = 0.0
    for k in range(numTests):
        errorSum += colicTest()
    print("经过 %d 轮迭代后的平均错误率为: %f" % (numTests, errorSum / float(numTests)))

# 调用multiTest函数进行多次测试
multiTest()

整体代码：

from numpy import *
from sklearn import datasets
from sklearn.model_selection import train_test_split

# Sigmoid函数定义
def sigmoid(inX):
    return 1.0 / (1 + exp(-inX))

# 梯度上升算法
def gradAscent(dataMatIn, classLabels):
    dataMatrix = mat(dataMatIn)             # 转换为NumPy矩阵
    labelMat = mat(classLabels).transpose() # 转换为NumPy矩阵，并且矩阵转置
    m, n = shape(dataMatrix)
    alpha = 0.001                           # 学习率
    maxCycles = 500                         # 迭代次数
    weights = ones((n, 1))                  # 权重初始化为1
    for k in range(maxCycles):
        h = sigmoid(dataMatrix * weights)   # 矩阵相乘，计算sigmoid函数
        error = (labelMat - h)              # 计算误差
        weights = weights + alpha * dataMatrix.transpose() * error  # 更新权重
    return weights

# 使用鸢尾花数据集进行测试
def colicTest():
    # 加载鸢尾花数据集
    iris = datasets.load_iris()
    X = iris.data[:, :2]  # 只取前两个特征
    y = (iris.target != 0) * 1  # 将目标转换为二分类问题，非0类别标记为1
    
    # 划分训练集和测试集
    X_train, X_test, y_train, y_test = train_test_split(X, y, test_size=0.3, random_state=0)
    
    trainWeights = gradAscent(X_train, y_train)
    errorCount = 0
    numTestVec = 0.0
    for i in range(len(X_test)):
        numTestVec += 1.0
        if int(sigmoid(sum(array(X_test[i]) * trainWeights)) > 0.5) != int(y_test[i]):
            errorCount += 1
    errorRate = (float(errorCount) / numTestVec)
    print("测试集错误率: %f" % errorRate)
    return errorRate

# 多次测试并计算平均错误率
def multiTest():
    numTests = 10
    errorSum = 0.0
    for k in range(numTests):
        errorSum += colicTest()
    print("经过 %d 轮迭代后的平均错误率为: %f" % (numTests, errorSum / float(numTests)))

# 调用multiTest函数进行多次测试
multiTest()

运行结果：

总结：

Logistic回归是一种强大而灵活的工具，适合于那些目标变量是二元的分类问题。尽管它有一定的局限性，但由于其模型简单、易于理解和实施，在实际应用中仍然非常受欢迎。然而，在面对复杂的非线性问题时，可能需要考虑更先进的算法或者对Logistic回归进行扩展。