目录
一、理论知识
1.逻辑回归的作用
逻辑回归不是一个回归的算法,逻辑回归是一个分类的算法
2.sigmoid函数
逻辑回归中对应一条非常重要的曲线S型曲线,对应的函数是Sigmoid函数:
其函数图像如下:
确定一个分界线,在直线一边的数据点全为正样本,另一边的数据点则全为负样本。
二、代码实现
1.定义训练数据和测试数据
训练集:
# 训练数据,密度和含糖率
density = np.array([0.697, 0.774, 0.634, 0.608, 0.556, 0.403, 0.481, 0.437, 0.666, 0.243]).reshape(-1, 1)
sugar_rate = np.array([0.460, 0.376, 0.264, 0.318, 0.215, 0.237, 0.149, 0.211, 0.091, 0.267]).reshape(-1, 1)
X_train = np.hstack((density, sugar_rate))
y_train = np.array([1, 1, 1, 1, 1, 0, 0, 0, 0, 0])
测试集:
# 测试数据
density_test = np.array([0.245, 0.343, 0.639, 0.657, 0.360, 0.593, 0.719]).reshape(-1, 1)
sugar_rate_test = np.array([0.042, 0.103, 0.161, 0.198, 0.370, 0.057, 0.099]).reshape(-1, 1)
X_test = np.hstack((density_test, sugar_rate_test))
y_test = np.array([0, 0, 1, 1, 0, 0, 0])
2.绘制训练数据的散点图
# 画出特征的散点图
plt.scatter(density.flatten(), sugar_rate.flatten(), c=y_train, cmap='coolwarm', label='Good(1) vs. Bad(0)')
plt.xlabel('Sugar Rate')
plt.ylabel('Density')
plt.legend(handles=[plt.Line2D([0], [0], marker='o', color='w', markerfacecolor='r', markersize=10, label='Good'),
plt.Line2D([0], [0], marker='o', color='w', markerfacecolor='b', markersize=10, label='Bad')])
plt.title('Scatter Plot of Sugar Rate vs. Density')
plt.show()
可视化结果:
3.LogisticRegression模型进行训练和预测
# 训练
model = LogisticRegression()
model.fit(X_train, y_train)
# 预测
y_pred = model.predict(X_test)
4. 输出测试结果
# 显示是否预测正确
print('预测结果是:', y_pred)
print('真实结果是:', y_test)
# 计算概率
proba_ = model.predict_proba(X_test)
print('预测概率是:\n', proba_)
可视化结果:
在预测结果中分别输出了每个测试集是坏瓜和好瓜的概率。
5. 测试结果的散点图
# 画出测试集预测结果的散点图
plt.scatter(density_test.flatten(), sugar_rate_test.flatten(), c=y_pred, cmap='coolwarm', label='Predicted')
plt.xlabel('Sugar Rate')
plt.ylabel('Density')
plt.legend(handles=[plt.Line2D([0], [0], marker='o', color='w', markerfacecolor='r', markersize=10, label='Bad'),
plt.Line2D([0], [0], marker='o', color='w', markerfacecolor='b', markersize=10, label='Good')])
plt.title('Scatter Plot of Sugar Rate vs. Density (Predicted)')
# 画出sigmoid曲线的决策分界线
x_min, x_max = density_test.min() - .1, density_test.max() + .1
y_min, y_max = sugar_rate_test.min() - .1, sugar_rate_test.max() + .1
xx, yy = np.meshgrid(np.linspace(x_min, x_max, 100), np.linspace(y_min, y_max, 100))
Z = model.predict_proba(np.c_[xx.ravel(), yy.ravel()])
Z = Z[:, 1].reshape(xx.shape)
plt.contour(xx, yy, Z, levels=[0.5], colors='k')
plt.show()
可视化结果:
三、总结
该实验利用逻辑回归模型对含糖率和密度数据进行训练,并在测试集上进行预测。逻辑回归通过学习训练数据,找到一个决策边界,将特征空间划分为两个区域,从而实现对样本的分类。
绘制了散点图展示了训练数据和测试数据的分布情况,并在测试集预测结果的散点图中画出了Sigmoid函数的决策分界线,用于展示模型的分类效果。
完成该实验不仅让我掌握逻辑回归模型的基本流程,还学会了如何利用可视化工具更好地理解数据和模型的表现。