推荐算法学习笔记--DeepFM模型篇

DeepFM简介

研究背景

在CTR（点击通过率）问题的研究中，如何令模型更好、更高效地学习特征组合是研究的重中之重，DNN（深度神经网络）具有的特征组合能力使其能够学习到高阶的特征组合，结合FM对低阶特征的学习，使模型可以同时从raw feature中学习到高阶和低阶的特征交互。

模型结构

模型主要分为Deep和FM两部分

Deep部分

Deep部分是一个前馈神经网络（图1），作用是为了学习高阶的特征组合。与图像或者语音这类输入不同，图像语音的输入一般是连续而且密集的，然而用于CTR的输入一般是及其稀疏的。同时也为了增强模型泛化能力，所以在第一层隐含层之前，引入一个嵌入层（图2）来完成将输入向量压缩到低维稠密向量。

FM部分

FM部分是因子分解机，用以学习低维特征，这部分由Addition Unit和多个内积单元组成，与Deep部分共享Embbeding向量

DeepFM代码

import warnings
warnings.filterwarnings("ignore")
import itertools
import pandas as pd
import numpy as np
from tqdm import tqdm
from collections import namedtuple

import tensorflow as tf
from tensorflow.keras.layers import *
from tensorflow.keras.models import *

from sklearn.model_selection import train_test_split
from sklearn.preprocessing import  MinMaxScaler, LabelEncoder

from utils import SparseFeat, DenseFeat, VarLenSparseFeat


# 简单处理特征，包括填充缺失值，数值处理，类别编码
def data_process(data_df, dense_features, sparse_features):
    data_df[dense_features] = data_df[dense_features].fillna(0.0)
    for f in dense_features:
        data_df[f] = data_df[f].apply(lambda x: np.log(x+1) if x > -1 else -1)
        
    data_df[sparse_features] = data_df[sparse_features].fillna("-1")
    for f in sparse_features:
        lbe = LabelEncoder()
        data_df[f] = lbe.fit_transform(data_df[f])
    
    return data_df[dense_features + sparse_features]


def build_input_layers(feature_columns):
    # 构建Input层字典，并以dense和sparse两类字典的形式返回
    dense_input_dict, sparse_input_dict = {
   }, {
   }

    for fc in feature_columns:
        if isinstance(fc, SparseFeat):
            sparse_input_dict[fc.name] = Input(shape=(1, ), name=fc.name)
        elif isinstance(fc, DenseFeat):
            dense_input_dict[fc.name] = Input(shape=(fc.dimension, ), name=fc.name)
        
    return dense_input_dict, sparse_input_dict


def build_embedding_layers(feature_columns, input_layers_dict, is_linear):
    # 定义一个embedding层对应的字典
    embedding_layers_dict = dict()
    
    # 将特征中的sparse特征筛选出来
    sparse_feature_columns = list(filter(lambda x: isinstance(x, SparseFeat), feature_columns)