kaggle竞赛实战3

接前文，本文主要做以下几件事：

1、把前面处理完的几个表拼成一个大表

2、做特征衍生（把离散特征和连续特征两两组合得出）

# In[89]:

#开始拼接表
transaction = pd.concat([new_transaction, history_transaction], axis=0, ignore_index=True)#最后一个参数表示产生新的索引

# In[91]:

transaction['purchase_month'] = transaction['purchase_date'].apply(lambda x:'-'.join(x.split(' ')[0].split('-')[:2]))#先提取出月份和小时

# In[92]:

transaction['purchase_hour_section'] = transaction['purchase_date'].apply(lambda x: x.split(' ')[1].split(':')[0]).astype(int)

# In[95]:

transaction['purchase_month'] = change_object_cols(transaction['purchase_month'].fillna(-1).astype(str))

# In[96]:

cols = ['merchant_id', 'most_recent_sales_range', 'most_recent_purchases_range', 'category_4']

# In[98]:

#做合并
transaction=pd.merge(transaction,merchant[cols],how='left',on='merchant_id')

# In[99]:

numeric_cols = ['purchase_amount', 'installments']

# In[100]:

category_cols = ['authorized_flag', 'city_id', 'category_1','category_3',
                 'merchant_category_id','month_lag','most_recent_sales_range',
                 'most_recent_purchases_range', 'category_4',
                 'purchase_month', 'purchase_hour_section', 'purchase_day']

# In[101]:

id_cols = ['card_id', 'merchant_id']

# In[102]:

#对合成的表再做一下异常值处理
transaction[cols[1:]] = transaction[cols[1:]].fillna(-1).astype(int)

# In[103]:

transaction[category_cols] =transaction[category_cols].fillna(-1).astype(str)

# In[104]:

#导出成csv
transaction.to_csv("d:/transaction_d_pre.csv",index=False)

# In[105]:

del transaction

# In[106]:

gc.collect()

# In[107]:

#开始特征工程，这里用两两特征组合的方式,使得一个卡号就一条记录。具体来说，看各个卡号A特征取值为1时，C特征的和
from datetime import datetime

# In[108]:

#搞个小数据集玩一下
d1={'card_id':[1,2,1,3],'A':[1, 2, 1, 2],
    'B':[2, 1, 2, 2], 'C':[4, 5, 1, 5], 'D':[7, 5, 4, 8]}

# In[110]:

t1=pd.DataFrame(d1)

# In[111]:

numeric_cols = ['C', 'D']
category_cols = ['A', 'B']

# In[112]:

t1

# In[113]:

#创建以id为key的空字典
features={}
card_all=t1['card_id'].values.tolist()#拿出所有catd_id
for card in card_all:
    features[card]={}

# In[114]:

features

# In[115]:

columns=t1.columns.tolist()#把所有字段名称拿出

# In[116]:

columns

# In[129]:

idx = columns.index('card_id')
idx

# In[122]:

#拿出离散型字段的索引值
category_cols_index=[columns.index(col)for col in category_cols]

# In[123]:

numeric_cols_index=[columns.index(col)for col in numeric_cols]

# In[130]:

#开始吧离散字段和连续字段两两组合
for i in range(t1.shape[0]):
    va=t1.loc[i].values#取出每行的值
    card=va[idx]#取出cardid
    for cate_ind in category_cols_index:
        for num_ind in numeric_cols_index:
            col_name = '&'.join([columns[cate_ind], str(va[cate_ind]), columns[num_ind]])
            features[card][col_name] = features[card].get(col_name, 0) + va[num_ind]
    

# In[131]:

features

# In[135]:

#转化为df
df = pd.DataFrame(features).T.reset_index()#再设置个索引

# In[137]:

cols = df.columns.tolist()

# In[139]:

df.columns = ['card_id'] + cols[1:]#这两句作用就是把第一列索引名改为card_id

最终输出的结果是两两组合的特征及对应值，如图所示：