python数据分析练手小项目-汽车销售偷漏纳税人识别

本项目主要掌握数据预处理和神经网络、决策树建模以及利用roc曲线进行模型评价。

import pandas as pd
data=pd.read_excel(data/cardata.xls',index_col=0)

#数据探索
import matplotlib.pyplot as plt
data.describe()

pd.value_counts(data[u'销售类型'])
pd.value_counts(data[u'销售模式'])
pd.crosstab(data[u'输出'],data[u'销售类型'])
pd.crosstab(data[u'输出'],data[u'销售模式'])


for col in data.columns:
    if not col in [u'销售类型',u'销售模式',u'输出']:
        fig = plt.figure()
        data[col].hist(bins=20, by = data[u'输出'])
        fig.show()

#数据预处理
data=pd.merge(data,pd.get_dummies(data[u'销售模式']),left_index=True,right_index=True)
data=pd.merge(data,pd.get_dummies(data[u'销售类型']),left_index=True,right_index=True)
data['type']=pd.get_dummies(data[u'输出'])[u'正常']
data = data.iloc[:，3:]
del data[u'输出']

from random import shuffle
data_2=data

data[:5]

data = data.as_matrix() #将表格转换为矩阵
shuffle(data)

p = 0.8 #设置训练数据比例
train = data[:int(len(data)*p),:] #前80%为训练集
test = data[int(len(data)*p):,:] #后20%为测试集

#混淆矩阵函数
def cm_plot(y, yp):

  from sklearn.metrics import confusion_matrix

  cm = confusion_matrix(y, yp) 

  import matplotlib.pyplot as plt 
  plt.matshow(cm, cmap=plt.cm.Greens) 
  plt.colorbar() 

  for x in range(len(cm)): 
    for y in range(len(cm)):
      plt.annotate(cm[x,y], xy=(x, y), horizontalalignment='center', verticalalignment='center')

  plt.ylabel('True label') 
  plt.xlabel('Predicted label') 
  return plt


#构建CART决策树模型
from sklearn.tree import DecisionTreeClassifier #导入决策树模型

treefile = 'output/cartree.pkl' #模型输出名字
tree = DecisionTreeClassifier() #建立决策树模型
tree.fit(train[:,:25], train[:,25]) #训练,除了最后一列

#保存模型
from sklearn.externals import joblib
joblib.dump(tree, treefile)
cm_plot(train[:,25], tree.predict(train[:,:25])).show() #显示混淆矩阵可视化结果
#注意到Scikit-Learn使用predict方法直接给出预测结果；
#分类准确率有62+37人

from sklearn.metrics import roc_curve #导入ROC曲线函数

fpr, tpr, thresholds = roc_curve(test[:,25], tree.predict_proba(test[:,:25])[:,1], pos_label=1)
plt.plot(fpr, tpr, linewidth=2, label = 'ROC of CART', color = 'green') #作出ROC曲线
plt.xlabel('False Positive Rate') #坐标轴标签
plt.ylabel('True Positive Rate') #坐标轴标签
plt.ylim(0,1.05) #边界范围
plt.xlim(0,1.05) #边界范围
plt.legend(loc=4) #图例
plt.show() #显示作图结果