![](https://img-blog.csdnimg.cn/20201014180756918.png?x-oss-process=image/resize,m_fixed,h_64,w_64)
深度学习
王sad
会bb的技术,专注于广告推荐
展开
-
加速模型收敛神器——归一化(normalization)
进入到深度学习阶段,优化任务是一个非凸优化问题。模型收敛的稳定和速度是算法工程师不得不考虑的问题。归一化自提出后,就是该领域神器。本文将从归一化的思想,介绍常见的几种归一化,探究生效原理三部分来展开,最后是个人使用心得原创 2020-06-21 23:12:12 · 3585 阅读 · 0 评论 -
深度兴趣网络-din/dien
背景:阿里在广告ctr预测中,结合业务场景,提出深度兴趣网络(din)和深度兴趣进化网络(dien)。本文主要从论文出发,分析模型结构,和生产化应用。两篇论文贡献点:din:引入attentiondice激活函数自适应正则化dien:引入GRU设计AUGRU融合attention本文不考虑激活函数和自适应正则化的分析,着重于模型结构。代码实现细节:生产化思考:1)论文中和...原创 2020-02-15 20:51:44 · 513 阅读 · 0 评论 -
模型底层优化(1)——optimizor优化器及梯度截断
深度学习网络中,模型底层优化也是必不可少的。模型底层优化将分成两部分来讲解,主要为1)optimizor(优化器)的选择,2)参数initialize(初始化)和loss设计。这一节先讲一下optimizor的选择。原创 2019-12-18 23:07:03 · 686 阅读 · 0 评论 -
深度推荐模型中组件拆解
近年来,深度学习兴起,制霸了很多算法领域。在推荐系统中,在数据量足够的情况下,深度模型效果也优于传统模型。各大会议中,我们看到相关的模型层出不穷,wide&deep,deepfm,pnn等。细究这些模型,网络结构可以拆分为各个组件,不同的模型可看成是组件的排列组合。下面从组件粒度来分析下深度推荐模型。embeddingembedding是模型的第一层。初始特征先离散化,做one-hot...原创 2019-10-10 12:06:11 · 428 阅读 · 0 评论