Wide&Deep模型实现

1.综述：在DNN模型基础上增加一个线性模型来辅助记忆某些关键的特征，如Google play中的例子为用户安装的app名称和曝光app的名称。模型上边的 Wide 部分，可以容纳大规模系数特征，并且对一些特定的信息（比如 ID）有一定的记忆能力； 而模型下边的 Deep 部分，能够学习特征间的隐含关系，在相同数量的特征下有更好的学习和推导能力。

2.模型代码思路概述：我们认为Wide部分可以进行将全部类别特征转坏为multihot然后再和数值特征结合再训练的方法，Wide部分处理稀疏性特征的优势也就能够体现出来。Deep部分则是和DNN模型处理相同，我们对类别特征需要进行3层神经网络的Dense，然后再与数值特征进行结合输出。

 3.模型代码：

import gzip
import matplotlib.pyplot as plt
import numpy as np
import sklearn
import pandas as pd 
import os
import sys
import tensorflow as tf
from tensorflow import keras 
import random

# tf.config.run_functions_eagerly(True)

# numerical特征可以直接输入，但category特征需要进行multi_hot_embedding转换再和numerical进行组合进行wide部分输出
# Deep部分则是直接对category特征进行dense embedding然后再和numerical特征组合进行deep部分输出

class Wide_layer(keras.layers.Layer):
    def __init__(self):
        super(Wide_layer, self).__init__()
        # multi_hot_emb中的num_tokens是总共分类数，也就是describe中unique部分
        # self.num_tokens=category_feature.astype('object').describe().loc['unique'].sum()
        self.num_tokens=1000
        self.multi_hot_emb = tf.keras.layers.CategoryEncoding(num_tokens=self.num_tokens, output_mode='multi_hot', sparse=False)