从0完成一个数据分析实战

制作特征和标签， 转成监督学习问题

我们先捋一下基于原始的给定数据， 有哪些特征可以直接利用：

1. 文章的自身特征， category_id表示这文章的类型， created_at_ts表示文章建立的时间， 这个关系着文章的时效性， words_count是文章的字数， 一般字数太长我们不太喜欢点击, 也不排除有人就喜欢读长文。
2. 文章的内容embedding特征， 这个召回的时候用过， 这里可以选择使用， 也可以选择不用， 也可以尝试其他类型的embedding特征， 比如W2V等
3. 用户的设备特征信息

上面这些直接可以用的特征， 待做完特征工程之后， 直接就可以根据article_id或者是user_id把这些特征加入进去。 但是我们需要先基于召回的结果， 构造一些特征，然后制作标签，形成一个监督学习的数据集。

构造监督数据集的思路， 根据召回结果， 我们会得到一个{user_id: [可能点击的文章列表]}形式的字典。 那么我们就可以对于每个用户， 每篇可能点击的文章构造一个监督测试集， 比如对于用户user1， 假设得到的他的召回列表{user1: [item1, item2, item3]}， 我们就可以得到三行数据(user1, item1), (user1, item2), (user1, item3)的形式， 这就是监督测试集时候的前两列特征。
 

构造特征的思路是这样， 我们知道每个用户的点击文章是与其历史点击的文章信息是有很大关联的， 比如同一个主题， 相似等等。 所以特征构造这块很重要的一系列特征是要结合用户的历史点击文章信息。我们已经得到了每个用户及点击候选文章的两列的一个数据集， 而我们的目的是要预测最后一次点击的文章， 比较自然的一个思路就是和其最后几次点击的文章产生关系， 这样既考虑了其历史点击文章信息， 又得离最后一次点击较近，因为新闻很大的一个特点就是注重时效性。 往往用户的最后一次点击会和其最后几次点击有很大的关联。 所以我们就可以对于每个候选文章， 做出与最后几次点击相关的特征如下：

1. 候选item与最后几次点击的相似性特征(embedding内积） --- 这个直接关联用户历史行为
2. 候选item与最后几次点击的相似性特征的统计特征 --- 统计特征可以减少一些波动和异常
3. 候选item与最后几次点击文章的字数差的特征 --- 可以通过字数看用户偏好
4. 候选item与最后几次点击的文章建立的时间差特征 --- 时间差特征可以看出该用户对于文章的实时性的偏好

还需要考虑一下 5. 如果使用了youtube召回的话， 我们还可以制作用户与候选item的相似特征

当然， 上面只是提供了一种基于用户历史行为做特征工程的思路， 大家也可以思维风暴一下，尝试一些其他的特征。 下面我们就实现上面的这些特征的制作， 下面的逻辑是这样：

1. 我们首先获得用户的最后一次点击操作和用户的历史点击， 这个基于我们的日志数据集做
2. 基于用户的历史行为制作特征， 这个会用到用户的历史点击表， 最后的召回列表， 文章的信息表和embedding向量
3. 制作标签， 形成最后的监督学习数据集

导包

1

import numpy as np

2

import pandas as pd

3

import pickle

4

from tqdm import tqdm

5

import gc, os

6

import logging

7

import time

8

import lightgbm as lgb

9

from gensim.models import Word2Vec

10

from sklearn.preprocessing import MinMaxScaler

df节省内存函数

1

# 节省内存的一个函数

2

# 减少内存

3

def reduce_mem(df):

4

    starttime = time.time()

5

    numerics = ['int16', 'int32', 'int64', 'float16', 'float32', 'float64']

6

    start_mem = df.memory_usage().sum() / 1024**2

7

    for col in df.columns:

8

        col_type = df[col].dtypes

9

        if col_type in numerics:

10

            c_min = df[col].min()

11

            c_max = df[col].max()

12

            if pd.isnull(c_min) or pd.isnull(c_max):

13

                continue

14

            if str(col_type)[:3] == 'int':

15

                if c_min > np.iinfo(np.int8).min and c_max < np.iinfo(np.int8).max:

16

                    df[col] = df[col].astype(np.int8)

17

                elif c_min > np.iinfo(np.int16).min and c_max < np.iinfo(np.int16).max:

18

                    df[col] = df[col].astype(np.int16)

19

                elif c_min > np.iinfo(np.int32).min and c_max < np.iinfo(np.int32).max:

20

                    df[col] = df[col].astype(np.int32)

21

                elif c_min > np.iinfo(np.int64).min and c_max < np.iinfo(np.int64).max:

22

                    df[col] = df[col].astype(np.int64)

23

            else:

24

                if c_min > np.finfo(np.float16).min and c_max < np.finfo(np.float16).max:

25

                    df[col] = df[col].astype(np.float16)

26

                elif c_min > np.finfo(np.float32).min and c_max < np.finfo(np.float32).max:

27

                    df[col] = df[col].astype(np.float32)

28

                else:

29

                    df[col] = df[col].astype(np.float64)

30

    end_mem = df.memory_usage().sum() / 1024**2

31

    print('-- Mem. usage decreased to {:5.2f} Mb ({:.1f}% reduction),time spend:{:2.2f} min'.format(end_mem,

32

                                                                                                           100*(start_mem-end_mem)/start_mem,

33

                                                                                                           (time.time()-starttime)/60))

34

    return df

数据读取

训练和验证集的划分

划分训练和验证集的原因是为了在线下验证模型参数的好坏，为了完全模拟测试集，我们这里就在训练集中抽取部分用户的所有信息来作为验证集。提前做训练验证集划分的好处就是可以分解制作排序特征时的压力，一次性做整个数据集的排序特征可能时间会比较长。

 

1

# all_click_df指的是训练集

2

# sample_user_nums 采样作为验证集的用户数量

3

def trn_val_split(all_click_df, sample_user_nums):

4

    all_click = all_click_df

5

    all_user_ids = all_click.user_id.unique()

6

    

7

    # replace=True表示可以重复抽样，反之不可以

8

    sample_user_ids = np.random.choice(all_user_ids, size=sample_user_nums, replace=False) 

9

    

10

    click_val = all_click[all_click['user_id'].isin(sample_user_ids)]

11

    click_trn = all_click[~all_click['user_id'].isin(sample_user_ids)]

12

    

13

    # 将验证集中的最后一次点击给抽取出来作为答案

14

    click_val = click_val.sort_values(['user_id', 'click_timestamp'])

15

    val_ans = click_val.groupby('user_id').tail(1)

16

    

17

    click_val = click_val.groupby('user_id').apply(lambda x: x[:-1]).reset_index(drop=True)

18

    

19

    # 去除val_ans中某些用户只有一个点击数据的情况，如果该用户只有一个点击数据，又被分到ans中，

20

    # 那么训练集中就没有这个用户的点击数据，出现用户冷启动问题，给自己模型验证带来麻烦

21

    val_ans = val_ans[val_ans.user_id.isin(click_val.user_id.unique())] # 保证答案中出现的用户再验证集中还有

22

    click_val = click_val[click_val.user_id.isin(val_ans.user_id.unique())]

23

    

24

    return click_trn, click_val, val_ans

获取历史点击和最后一次点击

1

# 获取当前数据的历史点击和最后一次点击

2

def get_hist_and_last_click(all_click):

3

    all_click = all_click.sort_values(by=['user_id', 'click_timestamp'])

4

    click_last_df = all_click.groupby('user_id').tail(1)

5

​

6

    # 如果用户只有一个点击，hist为空了，会导致训练的时候这个用户不可见，此时默认泄露一下

7

    def hist_func(user_df):

8

        if len(user_df) == 1:

9

            return user_df

10

        else:

11

            return user_df[:-1]

12

​

13

    click_hist_df = all_click.groupby('user_id').apply(hist_func).reset_index(drop=True)

14

​

15

    return click_hist_df, click_last_df

 

4

from tqdm import tqdm

5

import gc, os

6

import logging

7

import time

8

import lightgbm as lgb

9

from gensim.models import Word2Vec

10

from sklearn.preprocessing import MinMaxScaler

11

import warnings

12

warnings.filterwarnings('ignore')

df节省内存函数

1

# 节省内存的一个函数

2

# 减少内存

3

def reduce_mem(df):

4

    starttime = time.time()

5

    numerics = ['int16', 'int32', 'int64', 'float16', 'float32', 'float64']

6

    start_mem = df.memory_usage().sum() / 1024**2

7

    for col in df.columns:

8

        col_type = df[col].dtypes

9

        if col_type in numerics:

10

            c_min = df[col].min()

11

            c_max = df[col].max()

12

            if pd.isnull(c_min) or pd.isnull(c_max):

13

                continue

14

            if str(col_type)[:3] == 'int':

15

                if c_min > np.iinfo(np.int8).min and c_max < np.iinfo(np.int8).max:

16

                    df[col] = df[col].astype(np.int8)

17

                elif c_min > np.iinfo(np.int16).min and c_max < np.iinfo(np.int16).max:

18

                    df[col] = df[col].astype(np.int16)

19

                elif c_min > np.iinfo(np.int32).min and c_max < np.iinfo(np.int32).max:

20

                    df[col] = df[col].astype(np.int32)

21

                elif c_min > np.iinfo(np.int64).min and c_max < np.iinfo(np.int64).max:

22

                    df[col] = df[col].astype(np.int64)

23

            else:

24

                if c_min > np.finfo(np.float16).min and c_max < np.finfo(np.float16).max:

25

                    df[col] = df[col].astype(np.float16)

26

                elif c_min > np.finfo(np.float32).min and c_max < np.finfo(np.float32).max:

27

                    df[col] = df[col].astype(np.float32)

28

                else:

29

                    df[col] = df[col].astype(np.float64)

30

    end_mem = df.memory_usage().sum() / 1024**2

31

    print('-- Mem. usage decreased to {:5.2f} Mb ({:.1f}% reduction),time spend:{:2.2f} min'.format(end_mem,

32

                                                                                                           100*(start_mem-end_mem)/start_mem,

33

                                                                                                           (time.time()-starttime)/60))

34

    return df

1

data_path = './data_raw/'

2

save_path = './temp_results/'

数据读取

训练和验证集的划分

划分训练和验证集的原因是为了在线下验证模型参数的好坏，为了完全模拟测试集，我们这里就在训练集中抽取部分用户的所有信息来作为验证集。提前做训练验证集划分的好处就是可以分解制作排序特征时的压力，一次性做整个数据集的排序特征可能时间会比较长。

1

# all_click_df指的是训练集

2

# sample_user_nums 采样作为验证集的用户数量

3

def trn_val_split(all_click_df, sample_user_nums):

4

    all_click = all_click_df

5

    all_user_ids = all_click.user_id.unique()

6

7

    # replace=True表示可以重复抽样，反之不可以

8

    sample_user_ids = np.random.choice(all_user_ids, size=sample_user_nums, replace=False) 

9

10

    click_val = all_click[all_click['user_id'].isin(sample_user_ids)]

11

    click_trn = all_click[~all_click['user_id'].isin(sample_user_ids)]

12

13

    # 将验证集中的最后一次点击给抽取出来作为答案

14

    click_val = click_val.sort_values(['user_id', 'click_timestamp'])

15

    val_ans = click_val.groupby('user_id').tail(1)

16

17

    click_val = click_val.groupby('user_id').apply(lambda x: x[:-1]).reset_index(drop=True)

18

19

    # 去除val_ans中某些用户只有一个点击数据的情况，如果该用户只有一个点击数据，又被分到ans中，

20

    # 那么训练集中就没有这个用户的点击数据，出现用户冷启动问题，给自己模型验证带来麻烦

21

    val_ans = val_ans[val_ans.user_id.isin(click_val.user_id.unique())] # 保证答案中出现的用户再验证集中还有

22

    click_val = click_val[click_val.user_id.isin(val_ans.user_id.unique())]

23

24

    return click_trn, click_val, val_ans

获取历史点击和最后一次点击

1

# 获取当前数据的历史点击和最后一次点击

2

def get_hist_and_last_click(all_click):

3

    all_click = all_click.sort_values(by=['user_id', 'click_timestamp'])

4

    click_last_df = all_click.groupby('user_id').tail(1)

5

​

6

    # 如果用户只有一个点击，hist为空了，会导致训练的时候这个用户不可见，此时默认泄露一下

7

    def hist_func(user_df):

8

        if len(user_df) == 1:

9

            return user_df

10

        else:

11

            return user_df[:-1]

12

​

13

    click_hist_df = all_click.groupby('user_id').apply(hist_func).reset_index(drop=True)

14

​

15

    return click_hist_df, click_last_df

 

读取训练、验证及测试集¶

1

def get_trn_val_tst_data(data_path, offline=True):

2

    if offline:

3

        click_trn_data = pd.read_csv(data_path+'train_click_log.csv')  # 训练集用户点击日志

4

        click_trn_data = reduce_mem(click_trn_data)

5

        click_trn, click_val, val_ans = trn_val_split(click_trn_data, sample_user_nums)

6

    else:

7

        click_trn = pd.read_csv(data_path+'train_click_log.csv')

8

        click_trn = reduce_mem(click_trn)

9

        click_val = None

10

        val_ans = None

11

12

    click_tst = pd.read_csv(data_path+'testA_click_log.csv')

    return click_trn, click_val, click_tst, val_ans

读取召回列表

1

# 返回多路召回列表或者单路召回

2

def get_recall_list(save_path, single_recall_model=None, multi_recall=False):

3

    if multi_recall:

4

        return pickle.load(open(save_path + 'final_recall_items_dict.pkl', 'rb'))

5

    

6

    if single_recall_model == 'i2i_itemcf':

7

        return pickle.load(open(save_path + 'itemcf_recall_dict.pkl', 'rb'))

8

    elif single_recall_model == 'i2i_emb_itemcf':

9

        return pickle.load(open(save_path + 'itemcf_emb_dict.pkl', 'rb'))

10

    elif single_recall_model == 'user_cf':

11

        return pickle.load(open(save_path + 'youtubednn_usercf_dict.pkl', 'rb'))

12

    elif single_recall_model == 'youtubednn':

13

        return pickle.load(open(save_path + 'youtube_u2i_dict.pkl', rb')

读取各种Embedding¶

Word2Vec训练及gensim的使用

Word2Vec主要思想是：一个词的上下文可以很好的表达出词的语义。通过无监督学习产生词向量的方式。word2vec中有两个非常经典的模型：skip-gram和cbow。

• skip-gram：已知中心词预测周围词。
• cbow：已知周围词预测中心词。