超级会员免费看
本文聚焦搜广推领域的面试题，深入探讨FTRL优化算法、梯度下降方法，以及推荐系统中的Embedding技术。涉及FM、FFM在推荐系统中的应用，以及FNN如何结合FM预训练权重。此外，文章还涵盖了深度学习推荐模型，如DeepFM、DCN、xDeepFM等，并讨论了RNN、LSTM、GRU和Transformer在序列建模中的作用。特征筛选方法和推荐系统的特征工程也是讨论的重点，包括特征选择的过滤法、包装法和嵌入法。最后，文章详细解析了Transformer的Scaled Dot-Product Attention、Position Embedding以及Multi-Head Attention的原理。
【面经&八股】搜广推方向：常见面试题（二）
文章目录
- 【面经&八股】搜广推方向：常见面试题（二）
-
- 1. FTRL 是什么？(Follow The Regularized Leader)
- 2. 梯度下降方法
- 3. 推荐系统中常见的Embedding方法有哪些？
- 4. Embedding与推荐系统有哪些结合
- 5. FM 和 FFM
- 6. FNN
- 7. 深度学习推荐模型
- 8. RNN、LSTM、GRU、Transformer
- 9. 特征筛选方法。
- 10. 推荐系统的特征工程有哪些？怎么做
- 11. Transformer细节：Scaled Dot-Product Attention为什么要缩放？（两点）Position Embedding 是如何实现的？为什么要使用 Multi-head 多头注意力？
1. FTRL 是什么？(Follow The Regularized Leader)
FTRL是一种参数更新的优化算法，该算法保证了模型的稀疏度与精度。
- 在推荐场景中，FTRL 常用于 LR 模型的实时更新上。
- FTRL 的提出是为了解决：在实时更新中，单个（少量）样本对模型的更新容易使模型丧失稀疏性（模型稀疏性衡量的是，模型参数为0个数的多少）,（LR + L1正则化很难解决这个问题）。
- FTRL的本质是参数截取，即某一条件下直接使权重参数置为0。
2. 梯度下降方法
从普通梯度下降来讲，采用：学习率*梯度 的方式进行权重的增量更新，很容易使模型优化停留在局部最优解。于是产生了基于动量的梯度下降，基本思路是将历史梯度值添加到增量更新的计算中，使模型在陷入局部最优解时更有可能跳出来。
- 自适应梯度算法（Adagrad）的梯度更新公式表达的是，对于梯度更新得越多，将要更新的越少。这使稀疏的特征将会
订阅专栏 解锁全文
扫一扫
916
被折叠的 条评论
为什么被折叠?
到【灌水乐园】发言
