kaggle竞赛实战1

我们最终的目标是要打比赛、进大厂，因此在熟悉了基本模型后先来看看比赛怎么做的，本文以Elo Merchant Category Recommendation | Kaggle 为样例进行介绍。

首先注意使用kaggle要全程“科学上网”，否则在注册、下载数据等环节都会出现页面挑不出来的情况

这一部分讲数据的缺失值、异常值及样本数据一致性情况探索，具体代码如下：

# In[1]:

import os
import numpy as np
import pandas as pd

# In[11]:

pd.read_excel('d:/Data_Dictionary.xlsx',header=2,sheet_name='train')#读取数据，去掉头两行（空行），先看看大概数据情况

# In[12]:

import gc #进行内存管理的

# In[22]:

train=pd.read_csv('d:/train.csv')

# In[23]:

test=pd.read_csv('d:/test.csv')

# In[24]:

#数据质量分析，判断训练和验证集是否取自同一总体，从而决定是用特征工程还是trick，如果分布不一致，则在训练集上容易过拟合
#先看数据集是否cardid独一无二
train['card_id'].nunique()==train.shape[0]#nunique用于看不同id个数

# In[25]:

test['card_id'].nunique()==test.shape[0]

# In[39]:

train['card_id'].nunique()+test['card_id'].nunique()==len(set(train['card_id']).union(set(test['card_id'])))#判断

# In[40]:

train.isnull().sum()#看缺失值情况

# In[41]:

test.isnull().sum()

# In[51]:

statistics=train['target'].describe()#看统计情况，找异常值

# In[43]:

statics

# In[44]:

#连续变量用概率直方图来观察
import seaborn as sns

# In[45]:

import matplotlib.pyplot as plt

# In[46]:

sns.set()

# In[48]:

sns.histplot(train['target'])#绘制密度曲线，找异常值

# In[49]:

#看下异常值数量,可能是特殊用户的标记，不能直接删掉
(train['target']<-30).sum()

# In[52]:

#关于如何确定异常值，也可以用3倍方差准则
statistics.loc['mean']-3*statistics.loc['std']

# In[54]:

#规律一致性分析：两个集合分布规律是否一致
#先单变量分析，看每个变量在每个区间内的样本数分布图是否一致
features=['first_active_month','feature_1','feature_2','feature_3']
train_count=train.shape[0]
test_count=test.shape[0]

# In[56]:

for feature in features:
    (train[feature].value_counts().sort_index()/train_count).plot()
    (test[feature].value_counts().sort_index()/test_count).plot()
    plt.legend(['train','test'])#画标签
    plt.xlabel(feature)
    plt.ylabel('ratio')
    plt.show()