天池推荐系统实战Task4笔记【特征工程】

天池新闻推荐特征工程笔记task4,本章主要专注于推荐特征的构建

制作特征和标签， 转成监督学习问题

我们先捋一下基于原始的给定数据， 有哪些特征可以直接利用：

1. 文章的自身特征， category_id表示这文章的类型， created_at_ts表示文章建立的时间， 这个关系着文章的时效性， words_count是文章的字数， 一般字数太长我们不太喜欢点击, 也不排除有人就喜欢读长文。

2. 文章的内容embedding特征， 这个召回的时候用过， 这里可以选择使用， 也可以选择不用， 也可以尝试其他类型的embedding特征， 比如W2V等

3. 用户的设备特征信息

上面这些直接可以用的特征， 待做完特征工程之后， 直接就可以根据article_id或者是user_id把这些特征加入进去。但是我们需要先基于召回的结果， 构造一些特征，然后制作标签，形成一个监督学习的数据集。

构造监督数据集的思路， 根据召回结果， 我们会得到一个{user_id: [可能点击的文章列表]}形式的字典。那么我们就可以对于每个用户， 每篇可能点击的文章构造一个监督测试集， 比如对于用户user1， 假设得到的他的召回列表{user1: [item1, item2, item3]}， 我们就可以得到三行数据(user1, item1), (user1, item2), (user1, item3)的形式， 这就是监督测试集时候的前两列特征。

构造特征的思路是这样， 我们知道每个用户的点击文章是与其历史点击的文章信息是有很大关联的， 比如同一个主题， 相似等等。所以特征构造这块很重要的一系列特征是要结合用户的历史点击文章信息。我们已经得到了每个用户及点击候选文章的两列的一个数据集， 而我们的目的是要预测最后一次点击的文章， 比较自然的一个思路就是和其最后几次点击的文章产生关系， 这样既考虑了其历史点击文章信息， 又得离最后一次点击较近，因为新闻很大的一个特点就是注重时效性。往往用户的最后一次点击会和其最后几次点击有很大的关联。所以我们就可以对于每个候选文章， 做出与最后几次点击相关的特征如下：

1. 候选item与最后几次点击的相似性特征(embedding内积） --- 这个直接关联用户历史行为

2. 候选item与最后几次点击的相似性特征的统计特征 --- 统计特征可以减少一些波动和异常

3. 候选item与最后几次点击文章的字数差的特征 --- 可以通过字数看用户偏好

4. 候选item与最后几次点击的文章建立的时间差特征 --- 时间差特征可以看出该用户对于文章的实时性的偏好

5. 如果使用了youtube召回的话， 我们还可以制作用户与候选item的相似特征

当然， 上面只是提供了一种基于用户历史行为做特征工程的思路， 大家也可以思维风暴一下，尝试一些其他的特征。下面我们就实现上面的这些特征的制作， 下面的逻辑是这样：

1. 我们首先获得用户的最后一次点击操作和用户的历史点击， 这个基于我们的日志数据集做

2. 基于用户的历史行为制作特征， 这个会用到用户的历史点击表， 最后的召回列表， 文章的信息表和embedding向量

3. 制作标签， 形成最后的监督学习数据集

数据读取

训练和验证集的划分

划分训练和验证集的原因是为了在线下验证模型参数的好坏，为了完全模拟测试集，我们这里就在训练集中抽取部分用户的所有信息来作为验证集。提前做训练验证集划分的好处就是可以分解制作排序特征时的压力，一次性做整个数据集的排序特征可能时间会比较长。

# all_click_df指的是训练集# sample_user_nums 采样作为验证集的用户数量def trn_val_split(all_click_df, sample_user_nums):    all_click = all_click_df    all_user_ids = all_click.user_id.unique()        # replace=True表示可以重复抽样，反之不可以    sample_user_ids = np.random.choice(all_user_ids, size=sample_user_nums, replace=False)         click_val = all_click[all_click['user_id'].isin(sample_user_ids)]    click_trn = all_click[~all_click['user_id'].isin(sample_user_ids)]        # 将验证集中的最后一次点击给抽取出来作为答案    click_val = click_val.sort_values(['user_id', 'click_timestamp'])    val_ans = click_val.groupby('user_id').tail(1)        click_val = click_val.groupby('user_id').apply(lambda x: x[:-1]).reset_index(drop=True)        # 去除val_ans中某些用户只有一个点击数据的情况，如果该用户只有一个点击数据，又被分到ans中，    # 那么训练集中就没有这个用户的点击数据，出现用户冷启动问题，给自己模型验证带来麻烦    val_ans = val_ans[val_ans.user_id.isin(click_val.user_id.unique())] # 保证答案中出现的用户再验证集中还有    click_val = click_val[click_val.user_id.isin(val_ans.user_id.unique())]        return click_trn, click_val, val_ans

获取历史点击和最后一次点击

# 获取当前数据的历史点击和最后一次点击def get_hist_and_last_click(all_click):    all_click = all_click.sort_values(by=['user_id', 'click_timestamp'])    click_last_df = all_click.groupby('user_id').tail(1)​    # 如果用户只有一个点击，hist为空了，会导致训练的时候这个用户不可见，此时默认泄露一下    def hist_func(user_df):        if len(user_df) == 1:            return user_df        else:            return user_df[:-1]​    click_hist_df = all_click.groupby('user_id').apply(hist_func).reset_index(drop=True)​    return click_hist_df, click_last_df

读取训练、验证及测试集

def get_trn_val_tst_data(data_path, offline=True):    if offline:        click_trn_data = pd.read_csv(data_path+'train_click_log.csv')  # 训练集用户点击日志        click_trn_data = reduce_mem(click_trn_data)        click_trn, click_val, val_ans = trn_val_split(all_click_df, sample_user_nums)    else:        click_trn = pd.read_csv(data_path+'train_click_log.csv')        click_trn = reduce_mem(click_trn)        click_val = None        val_ans = None        click_tst = pd.read_csv(data_path+'testA_click_log.csv')        return click_trn, click_val, click_tst, val_ans

读取召回列表

# 返回多路召回列表或者单路召回def get_recall_list(save_path, single_recall_model=None, multi_recall=False):    if multi_recall:        return pickle.load(open(save_path + 'final_recall_items_dict.pkl', 'rb'))        if single_recall_model == 'i2i_itemcf':        return pickle.load(open(save_path + 'itemcf_recall_dict.pkl', 'rb'))    elif single_recall_model == 'i2i_emb_itemcf':        return pickle.load(open(save_path + 'itemcf_emb_dict.pkl', 'rb'))    elif single_recall_model == 'user_cf':        return pickle.load(open(save_path + 'youtubednn_usercf_dict.pkl', 'rb'))    elif single_recall_model == 'youtubednn':        return pickle.load(open(save_path + 'youtube_u2i_dict.pkl', 'rb'))

读取各种Embedding

Word2Vec训练及gensim的使用Word2Vec主要思想是：一个词的上下文可以很好的表达出词的语义。通过无监督学习产生词向量的方式。word2vec中有两个非常经典的模型：skip-gram和cbow。

• skip-gram：已知中心词预测周围词。

• cbow：已知周围词预测中心词。在使用gensim训练word2vec的时候，有几个比较重要的参数

• size: 表示词向量的维度。

• window：决定了目标词会与多远距离的上下文产生关系。

• sg: 如果是0，则是CBOW模型，是1则是Skip-Gram模型。

• workers: 表示训练时候的线程数量

• min_count: 设置最小的

• iter: 训练时遍历整个数据集的次数

注意

1. 训练的时候输入的语料库一定要是字符组成的二维数组，如：[[‘北’, ‘京’, ‘你’, ‘好’], [‘上’, ‘海’, ‘你’, ‘好’]]

2. 使用模型的时候有一些默认值，可以通过在Jupyter里面通过Word2Vec??查看 下面是个简单的测试样例：

    

 

from gensim.models import Word2Vecdocs = [['30760', '157507'],       ['289197', '63746'],       ['36162', '168401'],       ['50644', '36162']]w2v = Word2Vec(docs, size=12, sg=1, window=2, seed=2020, workers=2, min_count=1, iter=1)# 查看'30760'表示的词向量w2v['30760']

def trian_item_word2vec(click_df, embed_size=64, save_name='item_w2v_emb.pkl', split_char=' '):    click_df = click_df.sort_values('click_timestamp')    # 只有转换成字符串才可以进行训练    click_df['click_article_id'] = click_df['click_article_id'].astype(str)    # 转换成句子的形式    docs = click_df.groupby(['user_id'])['click_article_id'].apply(lambda x: list(x)).reset_index()    docs = docs['click_article_id'].values.tolist()​    # 为了方便查看训练的进度，这里设定一个log信息    logging.basicConfig(fo