Task05 数据建模和数据评估

1 数据建模

如何选择合适的模型？
1.监督学习还是无监督学习？
2.任务需求
3.样本量及特征的稀疏性
4.选择一个基本的模型作为baseline，进而再训练其他模型做对比，最终选择泛化能力或性能比较好的模型
sklearn的算法选择路径：

1.1 切割训练集和测试集

留出法：
· 将数据集分为自变量和因变量
· 按比例切割训练集和测试集(一般测试集的比例有30%、25%、20%、15%和10%)
· 使用分层抽样
· 设置随机种子以便结果能复现
交叉验证法：
· 将数据集D划分为k个大小相似的互斥子集
· 每次采用k−1个子集的并集作为训练集，剩下的那个子集作为测试集
· 进行k次训练和测试，最终返回k个测试结果的均值。又称为“k折交叉验证”（k-fold cross validation）
留一法：
· k折交叉验证k=m（m为样本数）时候的特殊情况。即每次只用一个样本作测试集。该方法计算开销较大。
自助法：
· 以自助采样为基础（有放回采样）。每次随机从D中挑选一个样本，放入D′中，然后将样本放回D中，重复m次之后，得到了包含m个样本的数据集。
**·**在数据集较小、难以有效划分训练/测试集时很有用。然而改变了初始数据集的分布，会引入估计偏差。
分层抽样的优点：
1、当一个总体内部分层明显时，分层抽样能够提高样本的代表性，从而提高由样本推断总体的精确性；
2、分层抽样特别适用于既要对总体参数进行推断，也要对各子总体(层)的参数进行推断的情形；
3、分层抽样实施起来灵活方便，而且便于组织。
分层抽样的缺点：调查者必须对总体情况有较多的了解，否则无法进行恰当分层。抽样手续较简单随机，抽样还要繁杂。
切割数据集是为了后续能评估模型泛化能力，sklearn中切割数据集的方法为train_test_split。

1.2 创建模型

创建基于线性模型的分类模型（逻辑回归）

from sklearn.linear_model import LogisticRegression

lr = LogisticRegression()
lr.fit(X_train, y_train)

print("score of the train set:",lr.score(X_train, y_train))
print("score of the test set:",lr.score(X_test, y_test))

pred = lr.predict(X_train)#输出预测标签
pred[:10]

pred_proba = lr.predict_proba(X_train)#输出标签概率
pred_proba[:10]

创建基于树的分类模型（决策树、随机森林），随机森林其实是决策树集成为了降低决策树过拟合的情况

from sklearn.ensemble import RandomForestClassifier

rf = RandomForestClassifier()
rf.fit(X_train, y_train)

print("score of the train set:",rf.score(X_train, y_train))
print("score of the test set:",rf.score(X_test, y_test))

#增加树与深度降低过拟合
rf = RandomForestClassifier(n_estimators=100, max_depth=5)
rf.fit(X_train, y_train)

print("score of the train set:",rf.score(X_train, y_train))
print("score of the test set:",rf.score(X_test, y_test))

2 模型评估

模型评估是为了了解模型的泛化能力

2.1 交叉验证

交叉验证（cross-validation）是一种评估泛化性能的统计学方法，它比单次划分训练集和测试集的方法更加稳
定、全面。
在交叉验证中，数据被多次划分，并且需要训练多个模型。
最常用的交叉验证是 k 折交叉验证（k-fold cross-validation），其中 k 是由用户指定的数字，通常取 5 或 10。

#10折交叉验证
from sklearn.model_selection import cross_val_score
lr = LogisticRegression(C=100)
scores = cross_val_score(lr, X_train, y_train, cv=10)
scores

平均交叉验证分数

print("average cross-validation score of logistic regression:{:.2f}".format(scores.mean()))

对于随机森林：

rf = RandomForestClassifier(n_estimators=100, max_depth=5)
scores = cross_val_score(rf, X_train, y_train, cv=10) 
print("average cross-validation score of randomforeset:{:.2f}".format(scores.mean()))

效果比逻辑回归好一点点

2.2 混淆矩阵

这里显示的是二分类问题的，不过多分类问题也一样，对角线表示分类正确的样本数，其他位置表示错误分类的样本数。

#混淆矩阵
from sklearn.metrics import confusion_matrix
lr = LogisticRegression(C=100)
lr.fit(X_train, y_train)
pred = lr.predict(X_train)
confusion_matrix(y_train, pred)

精确率、召回率以及f1分数
准确率（precision）度量的是被预测为正例的样本中有多少是真正的正例
召回率（recall）度量的是正类样本中有多少被预测为正类
f1分数是准确率与召回率的调和平均

# 精确率、召回率以及f1-score
from sklearn.metrics import classification_report
print(classification_report(y_train, pred))

2.3 ROC曲线

#ROC曲线
from sklearn.metrics import roc_curve
fpr, tpr, thresholds = roc_curve(y_test, lr.decision_function(X_test))
plt.plot(fpr, tpr, label="ROC Curve")
plt.xlabel("FPR")
plt.ylabel("TPR (recall)")
# 找到最接近于0的阈值
close_zero = np.argmin(np.abs(thresholds))
plt.plot(fpr[close_zero], tpr[close_zero], 'o', markersize=10, label="threshold zero",
fillstyle="none", c='k', mew=2)
plt.legend(loc=4)

函数返回三个变量：
真正例率TPR

假正例率FPR

阈值threshold
用“Score”表示每个测试样本属于正样本的概率，从高到低，依次将“Score”值作为阈值threshold，当测试样本属于正样本的概率大于或等于这个threshold时，我们认为它为正样本，否则为负样本。
每次选取一个不同的threshold，我们就可以得到一组FPR和TPR，即ROC曲线上的一点。