动手学数据挖掘笔记（建模与评估）

数据挖掘笔记：

（一）动手学数据挖掘笔记（数据加载及探索性数据分析）

（二）动手学数据挖掘笔记（数据清理&特征处理）

（三）动手学数据挖掘笔记（数据重构）

（四）动手学数据挖掘笔记（数据可视化）

（五）动手学数据挖掘笔记（建模与评估）

建模与评估

建模

1.建模标准
①处理完前面的数据我们就得到建模数据，下一步是选择合适模型。
②在进行模型选择之前我们需要先知道数据集最终是进行监督学习还是无监督学习。
③模型的选择一方面是通过我们的任务来决定的。
④除了根据我们任务来选择模型外，还可以根据数据样本量以及特征的稀疏性来决定。
⑤刚开始我们总是先尝试使用一个基本的模型来作为其baseline，进而再训练其他模型做对比，最终选择泛化能力或性能比较好的模型。

2.模型创建
①创建基于线性模型的分类模型（逻辑回归）。
②创建基于树的分类模型（决策树、随机森林）。
③分别使用这些模型进行训练，分别的到训练集和测试集的得分。
④查看模型的参数，并更改参数值，观察模型变化。

逻辑回归不是回归模型而是分类模型，不要与LinearRegression混淆

线性模型所在的模块为sklearn.linear_model
树模型所在的模块为sklearn.ensemble

from sklearn.linear_model import LogisticRegression
from sklearn.ensemble import RandomForestClassifier

lr = LogisticRegression()
lr.fit(X_train, y_train)

print("Training set score: {:.4f}".format(lr.score(X_train, y_train)))
print("Testing set score: {:.4f}".format(lr.score(X_test, y_test)))

对于多分类问题和类别不平衡问题：参考文章
3.sklearn里面有个predict能输出预测标签，predict_proba则可以输出标签概率。

pred = lr.predict(X_train)
pred_proba = lr.predict_proba(X_train)

模型评估

①模型评估是为了知道模型的泛化能力。
②交叉验证（cross-validation）是一种评估泛化性能的统计学方法，它比单次划分训练集和测试集的方法更加稳定、全面。
③在交叉验证中，数据被多次划分，并且需要训练多个模型。
④最常用的交叉验证是 k 折交叉验证（k-fold cross-validation），其中 k 是由用户指定的数字，通常取 5 或 10。
⑤准确率（precision）度量的是被预测为正例的样本中有多少是真正的正例
召回率（recall）度量的是正类样本中有多少被预测为正类。
⑥f-分数是准确率与召回率的调和平均。
1.交叉验证

交叉验证在sklearn中的模块为sklearn.model_selection。

from sklearn.model_selection import cross_val_score

lr = LogisticRegression(C=100)
scores = cross_val_score(lr, X_train, y_train, cv=10)

scores

array([0.82352941, 0.77941176, 0.80597015, 0.80597015, 0.8358209 ,
       0.88059701, 0.72727273, 0.84848485, 0.75757576, 0.71212121])

# 平均交叉验证分数
print("Average cross-validation score: {:.4f}".format(scores.mean()))

Average cross-validation score: 0.7977

2.混淆矩阵

混淆矩阵、准确率召回率等、F1 score参考文章

混淆矩阵的方法在sklearn中的sklearn.metrics模块。
混淆矩阵需要输入真实标签和预测标签。
精确率、召回率以及f-分数可使用classification_report模块。

from sklearn.metrics import confusion_matrix

lr = LogisticRegression(C=100)
lr.fit(X_train, y_train)

# 模型预测结果
y_pred = lr.predict(X_train)

# 生成混淆矩阵
confusion_matrix(y_train, y_pred)

array([[350,  62],
       [ 71, 185]], dtype=int64)

from sklearn.metrics import classification_report

# 精确率、召回率以及f1-score
print(classification_report(y_train, y_pred))

              precision    recall  f1-score   support

           0       0.83      0.85      0.84       412
           1       0.75      0.72      0.74       256

    accuracy                           0.80       668
   macro avg       0.79      0.79      0.79       668
weighted avg       0.80      0.80      0.80       668

3.ROC曲线
①ROC曲线在sklearn中的模块为sklearn.metrics。
②ROC曲线下面所包围的面积越大越好。

from sklearn.metrics import roc_curve

fpr, tpr, thresholds = roc_curve(y_test, lr.decision_function(X_test))
plt.plot(fpr, tpr, label='ROC_curve')
plt.xlabel("FPR")
plt.ylabel("TPR(RECALL)")

# 找到最接近于0的阈值
close_zero = np.argmin(np.abs(thresholds))
plt.plot(fpr[close_zero], tpr[close_zero], 'o', label='threshold zero', fillstyle='none', c='k', mew=2)
plt.legend(loc='best')