数据读取训练和验证集的划分

数据读取
训练和验证集的划分
划分训练和验证集的原因是为了在线下验证模型参数的好坏，为了完全模拟测试集，我们这里就在训练集中抽取部分用户的所有信息来作为验证集。提前做训练验证集划分的好处就是可以分解制作排序特征时的压力，一次性做整个数据集的排序特征可能时间会比较长。

1

# all_click_df指的是训练集
2

# sample_user_nums 采样作为验证集的用户数量
3

def trn_val_split(all_click_df, sample_user_nums):
4

    all_click = all_click_df
5

    all_user_ids = all_click.user_id.unique()
6

    
7

    # replace=True表示可以重复抽样，反之不可以
8

    sample_user_ids = np.random.choice(all_user_ids, size=sample_user_nums, replace=False) 
9

    
10

    click_val = all_click[all_click['user_id'].isin(sample_user_ids)]
11

    click_trn = all_click[~all_click['user_id'].isin(sample_user_ids)]
12

    
13

    # 将验证集中的最后一次点击给抽取出来作为答案
14

    click_val = click_val.sort_values(['user_id&