数据建模及模型评估

import pandas as pd
import numpy as np
import matplotlib.pyplot as plt
import seaborn as sns
from IPython.display import Image
%matplotlib inline#%matplotlib inline 可以在Ipython编译器里直接使用，功能是可以内嵌绘图，并且可以省略掉plt.show()这一步
plt.rcParams['font.sans-serif'] = ['SimHei']  # 用来正常显示中文标签
plt.rcParams['axes.unicode_minus'] = False  # 用来正常显示负号
plt.rcParams['figure.figsize'] = (10, 6)  # 设置输出图片大小

#清洗过的
df = pd.read_csv('clear_data.csv')
df.head()
df.shape#shape查看矩阵或者数组的维数
#清洗前的
data = pd.read_csv('train.csv')
data.head()
#清洗后的只有数值型数据

1.模型搭建

任务一：切割训练集和测试集

这里使用留出法划分数据集

• 将数据集分为自变量和因变量
• 按比例切割训练集和测试集(一般测试集的比例有30%、25%、20%、15%和10%)
• 使用分层抽样
• 设置随机种子以便结果能复现

  train_test_split查阅https://www.cnblogs.com/Yanjy-OnlyOne/p/11288098.html
  from sklearn.model_selection import train_test_split
  X = df
  y = data['Survived']
  X_train, X_test, y_train, y_test = train_test_split(X, y, stratify=y, random_state=0)
  # 查看数据形状
  X_train.shape, X_test.shape

• 任务二：模型创建

• 创建基于线性模型的分类模型（逻辑回归）
• 创建基于树的分类模型（决策树、随机森林）
• 分别使用这些模型进行训练，分别的到训练集和测试集的得分
• 查看模型的参数，并更改参数值，观察模型变化

scikit-learn (sklearn) 官方文档中文版:https://sklearn.apachecn.org/#/docs/2?id=_11-%e5%b9%bf%e4%b9%89%e7%ba%bf%e6%80%a7%e6%a8%a1%e5%9e%8b
from sklearn.linear_model import LogisticRegression
from sklearn.ensemble import RandomForestClassifier
# 默认参数逻辑回归模型
lr = LogisticRegression()
lr.fit(X_train, y_train)
# 查看训练集和测试集score值
print("Training set score: {:.2f}".format(lr.score(X_train, y_train)))
print("Testing set score: {:.2f}".format(lr.score(X_test, y_test)))
#修改参数后的逻辑回归模型
lr2 = LogisticRegression(C=100)
lr2.fit(X_train, y_train)
print("Training set score: {:.2f}".format(lr2.score(X_train, y_train)))
print("Testing set score: {:.2f}".format(lr2.score(X_test, y_test)))
# 默认参数的随机森林分类模型
rfc = RandomForestClassifier()
rfc.fit(X_train, y_train)
print("Training set score: {:.2f}".format(rfc2.score(X_train, y_train)))
print("Testing set score: {:.2f}".format(rfc2.score(X_test, y_test)))

任务三：输出模型预测结果

• 输出模型预测分类标签
• 输出不同分类标签的预测概率

  # 预测标签
  pred = lr.predict(X_train)
  pred[:10]
  # 预测标签概率
  pred_proba = lr.predict_proba(X_train)
  pred_proba[:10]
  

  2.模型评估

  #任务：加载数据并分割测试集和训练集
  from sklearn.model_selection import train_test_split
  data = pd.read_csv('clear_data.csv')
  train = pd.read_csv('train.csv')
  X = data
  y = train['Survived']
  X_train,X_test,y_train,y_test = train_test_split(X,y,stratify=y,random_state=0)
  #默认参数逻辑回归模型
  lr = LogisticRegression()
  lr.fit(X_train,y_train)

  模型评估

• 模型评估是为了知道模型的泛化能力。
• 交叉验证（cross-validation）是一种评估泛化性能的统计学方法，它比单次划分训练集和测试集的方法更加稳定、全面。
• 在交叉验证中，数据被多次划分，并且需要训练多个模型。
• 最常用的交叉验证是 k 折交叉验证（k-fold cross-validation），其中 k 是由用户指定的数字，通常取 5 或 10。
• 准确率（precision）度量的是被预测为正例的样本中有多少是真正的正例
• 召回率（recall）度量的是正类样本中有多少被预测为正类
• f-分数是准确率与召回率的调和平均

  总结：不懂，以后学习这一块

  任务一：交叉验证

• 用10折交叉验证来评估之前的逻辑回归模型
• 计算交叉验证精度的平均值

  from sklearn.model_selection import cross_val_score
  lr = LogisticRegression(C=100)
  scores = cross_val_score(lr,X_train,y_train,cv=10)
  #k折交叉验证分数
  scores
  #平均交叉验证分数
  print('Average cross-validation score:{:.2f}'.format(scores.mean()))

  任务二：混淆矩阵

• 计算二分类问题的混淆矩阵
• 计算精确率、召回率以及f-分数

  【思考】什么是二分类问题的混淆矩阵，理解这个概念，知道它主要是运算到什么任务中的
  https://blog.csdn.net/Orange_Spotty_Cat/article/details/80520839

  from sklearn.metrics import confusion_matrix
  lr = LogisticRegression(C=100)
  lr.fit(X_train,y_train)
  pred = lr.predict(X_train)
  confusion_matrix(y_train,pred)
  from sklearn.metrics import classification_report
  # 精确率、召回率以及f1-score
  print(classification_report(y_train,pred))

  任务三：ROC曲线

• 绘制ROC曲线

  #ROC曲线
  https://blog.csdn.net/qq_26591517/article/details/80092679

  from sklearn.metrics import roc_curve
  fpr, tpr, thresholds = roc_curve(y_test, lr.decision_function(X_test))
  plt.plot(fpr, tpr, label="ROC Curve")
  plt.xlabel("FPR")
  plt.ylabel("TPR (recall)")
  # 找到最接近于0的阈值
  close_zero = np.argmin(np.abs(thresholds))
  plt.plot(fpr[close_zero], tpr[close_zero], 'o', markersize=10, label="threshold zero", fillstyle="none", c='k', mew=2)
  plt.legend(loc=4)

  总结：这块内容太难懂，还得多看看