- 博客(9)
- 收藏
- 关注
原创 自动动态调整广告出价OCPC
本文先介绍了广告的基本业态,品牌广告和效果广告,其中效果广告细分为搜索广告和竞价广告。效果广告目前以cpc/点击计费为主,广告主的直接目标是转化,出价和计费之间存在gap,无法高效分辨流量价值。因此平台利用自身数据,基于广告主的目标,自动动态调整广告出价OCPC。百度和淘宝在各自领域深入探索OCPC,公开发表了论文,阐述了原理和实现架构。本分将对两篇论文进行分析和探讨。
2021-01-21 00:31:04
1488
2
原创 embedding向量召回论文分享
在学习推荐系统算法模型时,少不了embedding的应用,尤其是深度学习时代。Embedding最早来自w2v,之后提出了item2vec。在此之后,物品embedding向两个方向发展。1) 一部分是序列,较为有名的:graph embedding,deepwalk,node2vec,line。2) 另一个方向,是利用有监督的反馈,从远及近的重要论文有dssm,youtube dnn,facebook ebr,alibaba mind。
2020-09-26 22:28:43
1193
原创 加速模型收敛神器——归一化(normalization)
进入到深度学习阶段,优化任务是一个非凸优化问题。模型收敛的稳定和速度是算法工程师不得不考虑的问题。归一化自提出后,就是该领域神器。本文将从归一化的思想,介绍常见的几种归一化,探究生效原理三部分来展开,最后是个人使用心得
2020-06-21 23:12:12
3620
原创 多任务学习(Multi-task Learning)在推荐系统中的应用
多任务学习:基于共享表示,把多个相关的任务放在一起学习的一种机器学习方法。多任务起源于迁移学习,利用其它任务的知识,区别在于同时学习多个任务。推荐系统中的任务,相关场景/目标,可以使用多任务学习。近年来,esmm,mmoe,ple等多任务学习结构在业界实践中大放异彩。
2020-04-28 00:01:03
1437
原创 模型底层优化(2)——参数initialize(初始化)和loss设计
Google的工程师Ali Rahimi在他获得一项大奖之后的发言中称,深度学习成为了今天的炼金术。深度学习除了一些基本的理论保证外,还需要一些黑魔法来帮助模型收敛和学习。参数的初始化和loss设计就是其中比较常用的方法。
2020-02-29 17:36:00
686
原创 深度兴趣网络-din/dien
背景:阿里在广告ctr预测中,结合业务场景,提出深度兴趣网络(din)和深度兴趣进化网络(dien)。本文主要从论文出发,分析模型结构,和生产化应用。两篇论文贡献点:din:引入attentiondice激活函数自适应正则化dien:引入GRU设计AUGRU融合attention本文不考虑激活函数和自适应正则化的分析,着重于模型结构。代码实现细节:生产化思考:1)论文中和...
2020-02-15 20:51:44
516
原创 模型底层优化(1)——optimizor优化器及梯度截断
深度学习网络中,模型底层优化也是必不可少的。模型底层优化将分成两部分来讲解,主要为1)optimizor(优化器)的选择,2)参数initialize(初始化)和loss设计。这一节先讲一下optimizor的选择。
2019-12-18 23:07:03
710
原创 深度推荐模型中组件拆解
近年来,深度学习兴起,制霸了很多算法领域。在推荐系统中,在数据量足够的情况下,深度模型效果也优于传统模型。各大会议中,我们看到相关的模型层出不穷,wide&deep,deepfm,pnn等。细究这些模型,网络结构可以拆分为各个组件,不同的模型可看成是组件的排列组合。下面从组件粒度来分析下深度推荐模型。embeddingembedding是模型的第一层。初始特征先离散化,做one-hot...
2019-10-10 12:06:11
437
原创 推荐系统中的召回算法
推荐策略的两个关键问题分别是“召回”和“排序”。“召回(match)”指从全量信息集合中触发尽可能多正确的结果,并将结果返回给“排序”。召回算法主要有:基于内容匹配的召回,基于协同过滤的召回。
2019-09-01 21:37:26
3570
1
空空如也
空空如也
TA创建的收藏夹 TA关注的收藏夹
TA关注的人