目录
Logistic回归的简要介绍
Logistic回归概念:
Logistic回归是一种广泛使用的统计方法,用于预测一个事件的概率,它是分类问题中的一个基础算法,尤其是在二分类问题中应用非常普遍。虽然Logistic回归模型包含了线性回归的成分,即特征的线性组合,但它通过引入逻辑函数将线性回归模型扩展到了分类问题上。这种模型被称为广义线性模型,其中Logistic回归是处理二元分类问题的特例。
Logistic回归的优缺点:
优点:
- 实现简单,计算代价不高。
- 输出结果是概率,可以直观地理解。
- 对于线性关系的解释性强。
缺点:
- 对于非线性关系,表现不如决策树和支持向量机等算法。
- 容易受到数据不平衡的影响。
- 需要预先假设数据特征和输出结果之间存在线性关系。
应用场景:
-
医疗领域:Logistic回归常用于预测疾病的发生风险,如根据患者的年龄、体重、血压等因素来预测心脏病发作的概率。
-
金融领域:在信用评分中,Logistic回归可以用来评估客户违约的概率,从而帮助银行决定是否批准贷款。它也被用于欺诈检测,比如预测某笔交易是否为欺诈行为。
-
市场营销:企业可以使用Logistic回归来预测客户是否会购买某产品,或者是否会对特定的营销活动作出响应。
Logistic回归知识
在Logistic回归模型中,我们首先对特征进行线性组合,然后将这个线性组合的结果通过Sigmoid函数转换,使得输出值落在(0,1)区间内,这个输出值可以被解释为事件发生的概率。
线性模型一般形式:
其中x=(x1, x2, ..., xd)是由d维属性描述的样本,其中 xi 是 x 在第 i 个属性上的取值。
Sigmoid函数的表达式与表现:
其中,z 是输入特征的线性组合。
因此,Logistic回归模型的形式如下:
最小二乘法与参数求解
线性回归目标:
即使回归预测值与真实值的误差最小。
公式表示为:
分别对w和b求导,可得:
得到解析/闭合(closed-form)解:
其中
梯度下降算法
梯度下降算法是一种用于找到损失函数最小值的优化方法。在Logistic回归中,通常使用的损失函数是对数似然损失函数,目标是最小化这个损失函数。
Logistic回归实现
在实现中,我使用了鸢尾花数据集,只使用了两种类型的鸢尾花和其中的两个特征。
from numpy import *
from sklearn import datasets
from sklearn.model_selection import train_test_split
sigmoid函数:
# Sigmoid函数定义
def sigmoid(inX):
return 1.0 / (1 + exp(-inX))
梯度上升算法:
# 梯度上升算法
def gradAscent(dataMatIn, classLabels):
dataMatrix = mat(dataMatIn) # 转换为NumPy矩阵
labelMat = mat(classLabels).transpose() # 转换为NumPy矩阵,并且矩阵转置
m, n = shape(dataMatrix)
alpha = 0.001 # 学习率
maxCycles = 500 # 迭代次数
weights = ones((n, 1)) # 权重初始化为1
for k in range(maxCycles):
h = sigmoid(dataMatrix * weights) # 矩阵相乘,计算sigmoid函数
error = (labelMat - h) # 计算误差
weights = weights + alpha * dataMatrix.transpose() * error # 更新权重
测试:
# 使用鸢尾花数据集进行测试
def colicTest():
# 加载鸢尾花数据集
iris = datasets.load_iris()
X = iris.data[:, :2] # 只取前两个特征
y = (iris.target != 0) * 1 # 将目标转换为二分类问题,非0类别标记为1
# 划分训练集和测试集
X_train, X_test, y_train, y_test = train_test_split(X, y, test_size=0.3, random_state=0)
trainWeights = gradAscent(X_train, y_train)
errorCount = 0
numTestVec = 0.0
for i in range(len(X_test)):
numTestVec += 1.0
if int(sigmoid(sum(array(X_test[i]) * trainWeights)) > 0.5) != int(y_test[i]):
errorCount += 1
errorRate = (float(errorCount) / numTestVec)
print("测试集错误率: %f" % errorRate)
return errorRate
# 多次测试并计算平均错误率
def multiTest():
numTests = 10
errorSum = 0.0
for k in range(numTests):
errorSum += colicTest()
print("经过 %d 轮迭代后的平均错误率为: %f" % (numTests, errorSum / float(numTests)))
# 调用multiTest函数进行多次测试
multiTest()
整体代码:
from numpy import *
from sklearn import datasets
from sklearn.model_selection import train_test_split
# Sigmoid函数定义
def sigmoid(inX):
return 1.0 / (1 + exp(-inX))
# 梯度上升算法
def gradAscent(dataMatIn, classLabels):
dataMatrix = mat(dataMatIn) # 转换为NumPy矩阵
labelMat = mat(classLabels).transpose() # 转换为NumPy矩阵,并且矩阵转置
m, n = shape(dataMatrix)
alpha = 0.001 # 学习率
maxCycles = 500 # 迭代次数
weights = ones((n, 1)) # 权重初始化为1
for k in range(maxCycles):
h = sigmoid(dataMatrix * weights) # 矩阵相乘,计算sigmoid函数
error = (labelMat - h) # 计算误差
weights = weights + alpha * dataMatrix.transpose() * error # 更新权重
return weights
# 使用鸢尾花数据集进行测试
def colicTest():
# 加载鸢尾花数据集
iris = datasets.load_iris()
X = iris.data[:, :2] # 只取前两个特征
y = (iris.target != 0) * 1 # 将目标转换为二分类问题,非0类别标记为1
# 划分训练集和测试集
X_train, X_test, y_train, y_test = train_test_split(X, y, test_size=0.3, random_state=0)
trainWeights = gradAscent(X_train, y_train)
errorCount = 0
numTestVec = 0.0
for i in range(len(X_test)):
numTestVec += 1.0
if int(sigmoid(sum(array(X_test[i]) * trainWeights)) > 0.5) != int(y_test[i]):
errorCount += 1
errorRate = (float(errorCount) / numTestVec)
print("测试集错误率: %f" % errorRate)
return errorRate
# 多次测试并计算平均错误率
def multiTest():
numTests = 10
errorSum = 0.0
for k in range(numTests):
errorSum += colicTest()
print("经过 %d 轮迭代后的平均错误率为: %f" % (numTests, errorSum / float(numTests)))
# 调用multiTest函数进行多次测试
multiTest()
运行结果:
总结:
Logistic回归是一种强大而灵活的工具,适合于那些目标变量是二元的分类问题。尽管它有一定的局限性,但由于其模型简单、易于理解和实施,在实际应用中仍然非常受欢迎。然而,在面对复杂的非线性问题时,可能需要考虑更先进的算法或者对Logistic回归进行扩展。