新闻推荐 Task 1 Baseline

新闻推荐 Task 1 Baseline

记录一次新闻推荐的学习过程。这是我第一次接触推荐系统，通过新闻推荐这个案例，熟悉推荐算法的工作原理，流程。开卷有益，尽量踩坑！这次的笔记就先完成赛题的理解，跑通 Baseline。比赛地址

之后的学习会按照数据分析，多路召回，特征工程，模型融合的步骤进行，也正好可以实践一下之前学习过的探索性数据分析(Exploratory Data Analysis, EDA)。希望通过这次小实战打开数据比赛的大门！

以下转自本次比赛的 Baseline。

环境配置

import time, math, os
from tqdm import tqdm
import gc
import pickle
import random
from datetime import datetime
from operator import itemgetter
import numpy as np
import pandas as pd
import warnings
from collections import defaultdict
import collections
warnings.filterwarnings('ignore')

data_path = '/home/admin/jupyter/data/' # 天池平台路径
save_path = '/home/admin/jupyter/temp_results/'  # 天池平台路径

DF 节省内存的函数

# 节约内存的一个标配函数
def reduce_mem(df):
    starttime = time.time()
    numerics = ['int16', 'int32', 'int64', 'float16', 'float32', 'float64']
    start_mem = df.memory_usage().sum() / 1024**2
    for col in df.columns:
        col_type = df[col].dtypes
        if col_type in numerics:
            c_min = df[col].min()
            c_max = df[col].max()
            if pd.isnull(c_min) or pd.isnull(c_max):
                continue
            if str(col_type)[:3] == 'int':
                if c_min > np.iinfo(np.int8).min and c_max < np.iinfo(np.int8).max:
                    df[col] = df[col].astype(np.int8)
                elif c_min > np.iinfo(np.int16).min and c_max < np.iinfo(np.int16).max:
                    df[col] = df[col].astype(np.int16)
                elif c_min > np.iinfo(np.int32).min and c_max < np.iinfo(np.int32).max:
                    df[col] = df[col].astype(np.int32)
                elif c_min > np.iinfo(np.int64).min and c_max < np.iinfo(np.int64).max:
                    df[col] = df[col].astype(np.int64)
            else