![](https://img-blog.csdnimg.cn/20201014180756928.png?x-oss-process=image/resize,m_fixed,h_64,w_64)
推荐系统
王sad
会bb的技术,专注于广告推荐
展开
-
embedding向量召回论文分享
在学习推荐系统算法模型时,少不了embedding的应用,尤其是深度学习时代。Embedding最早来自w2v,之后提出了item2vec。在此之后,物品embedding向两个方向发展。1) 一部分是序列,较为有名的:graph embedding,deepwalk,node2vec,line。2) 另一个方向,是利用有监督的反馈,从远及近的重要论文有dssm,youtube dnn,facebook ebr,alibaba mind。原创 2020-09-26 22:28:43 · 1181 阅读 · 0 评论 -
多任务学习(Multi-task Learning)在推荐系统中的应用
多任务学习:基于共享表示,把多个相关的任务放在一起学习的一种机器学习方法。多任务起源于迁移学习,利用其它任务的知识,区别在于同时学习多个任务。推荐系统中的任务,相关场景/目标,可以使用多任务学习。近年来,esmm,mmoe,ple等多任务学习结构在业界实践中大放异彩。原创 2020-04-28 00:01:03 · 1432 阅读 · 0 评论 -
模型底层优化(2)——参数initialize(初始化)和loss设计
Google的工程师Ali Rahimi在他获得一项大奖之后的发言中称,深度学习成为了今天的炼金术。深度学习除了一些基本的理论保证外,还需要一些黑魔法来帮助模型收敛和学习。参数的初始化和loss设计就是其中比较常用的方法。原创 2020-02-29 17:36:00 · 676 阅读 · 0 评论 -
深度兴趣网络-din/dien
背景:阿里在广告ctr预测中,结合业务场景,提出深度兴趣网络(din)和深度兴趣进化网络(dien)。本文主要从论文出发,分析模型结构,和生产化应用。 两篇论文贡献点: din: 引入attention dice激活函数 自适应正则化 dien: 引入GRU 设计AUGRU融合attention 本文不考虑激活函数和自适应正则化的分析,着重于模型结构。 代码实现细节: 生产化思考: 1)论文中和...原创 2020-02-15 20:51:44 · 513 阅读 · 0 评论 -
模型底层优化(1)——optimizor优化器及梯度截断
深度学习网络中,模型底层优化也是必不可少的。模型底层优化将分成两部分来讲解,主要为1)optimizor(优化器)的选择,2)参数initialize(初始化)和loss设计。这一节先讲一下optimizor的选择。原创 2019-12-18 23:07:03 · 686 阅读 · 0 评论 -
推荐系统中的召回算法
推荐策略的两个关键问题分别是“召回”和“排序”。“召回(match)”指从全量信息集合中触发尽可能多正确的结果,并将结果返回给“排序”。召回算法主要有:基于内容匹配的召回,基于协同过滤的召回。原创 2019-09-01 21:37:26 · 3553 阅读 · 1 评论 -
深度推荐模型中组件拆解
近年来,深度学习兴起,制霸了很多算法领域。在推荐系统中,在数据量足够的情况下,深度模型效果也优于传统模型。各大会议中,我们看到相关的模型层出不穷,wide&deep,deepfm,pnn等。细究这些模型,网络结构可以拆分为各个组件,不同的模型可看成是组件的排列组合。下面从组件粒度来分析下深度推荐模型。 embedding embedding是模型的第一层。初始特征先离散化,做one-hot...原创 2019-10-10 12:06:11 · 428 阅读 · 0 评论