数据读取
训练和验证集的划分
划分训练和验证集的原因是为了在线下验证模型参数的好坏,为了完全模拟测试集,我们这里就在训练集中抽取部分用户的所有信息来作为验证集。提前做训练验证集划分的好处就是可以分解制作排序特征时的压力,一次性做整个数据集的排序特征可能时间会比较长。
1
# all_click_df指的是训练集
2
# sample_user_nums 采样作为验证集的用户数量
3
def trn_val_split(all_click_df, sample_user_nums):
4
all_click = all_click_df
5
all_user_ids = all_click.user_id.unique()
6
7
# replace=True表示可以重复抽样,反之不可以
8
sample_user_ids = np.random.choice(all_user_ids, size=sample_user_nums, replace=False)
9
10
click_val = all_click[all_click['user_id'].isin(sample_user_ids)]
11
click_trn = all_click[~all_click['user_id'].isin(sample_user_ids)]
12
13
# 将验证集中的最后一次点击给抽取出来作为答案
14
click_val = click_val.sort_values(['user_id&