深度学习推荐系统学习笔记2——deep&cross

最新推荐文章于 2024-07-21 17:17:02 发布

迷茫猿小明

最新推荐文章于 2024-07-21 17:17:02 发布

阅读量692

点赞数 2

分类专栏：推荐系统文章标签：推荐系统深度学习 tensorflow

本文链接：https://blog.csdn.net/bjjoy2009/article/details/111087285

版权

推荐系统专栏收录该内容

5 篇文章 0 订阅

订阅专栏

过了一周，又一次聊天10分钟，没有面试机会，就被相亲姑娘pass了，哎，人生啊。不知道还是不是化悲痛为力量了，只能练习一个算法，再缓解缓解忧愁？

前言

日常热身，每周几次10几分钟低难度力量训练，外加几次低难度HIIT有氧，保持充足的活力。岁数大了，不知道这些是不是在欺骗自己呢？总之，体重没减，力量略微增加，生活依旧，没有任何波澜起伏。

一、准备

环境配置，包安装，数据源和下载，程序地址直接看上一篇就好，链接如下：
https://blog.csdn.net/bjjoy2009/article/details/110311411

二、deep&cross

deep&cross，由两部分组成，deep部分就是单纯的DNN网络。cross部分是每个特征交叉计算。

由于这里采用新闻推荐为例子，新闻由tiny bert转换为128位向量，用户是点击新闻向量平均值，所以输入是：用户向量+新闻向量（+是向量拼接），label是否点击（0，1表示）。提前做好了Embedding，算法中省略了Sparse feature到Embedding vec步骤。

网络结构如下图所示：
在这里插入图片描述
左侧cross网络每层具体公式如下：

每个参数具体维度变换图如下：这部分略微重要了，在用tf2实现的时候，各种维度错误，调了好久。

给个cross网络代码示例，维度变变变，主要是注意都是向量乘法，初始化时候就明确了参数具体维度，即使1维也不省略。

class Cross(Model):
    """
    cross网络
    """
    def __init__(self, embed_dim, layer_num):
        """
        :param embed_dim: 输入向量长度
        :param layer_num: 网络层数
        """
        super(Cross, self).__init__()
        self.embed_dim = embed_dim
        self.layer_num = layer_num
        self.ws = []
        self.bs = []
        for i in range(layer_num):
            # 变量加了不同的name，否则保存h5模型会报错
            self.ws.append(tf.Variable(tf.random.truncated_normal(shape=(embed_dim, 1), stddev=0.01)))
            self.bs.append(tf.Variable(tf.zeros(shape=(embed_dim, 1))))

    def call(self, inputs, training=None, mask=None):
        x0 = inputs
        xl = x0
        for w, b in zip(self.ws, self.bs):
            xl_T = tf.reshape(xl, [-1, 1, self.embed_dim])
            xlTw = tf.tensordot(xl_T, w, axes=1)
            xl = x0 * xlTw + b + xl
        return xl