bigo推荐算法岗位一/二面 面经分享

问题1：lstm原理三个门作用和sigmoid函数tanh使用，梯度消失问题如何解决，rnn为什么不能，缺点如何造成的。lstm如何解决长期记忆问题 。

LSTM是循环神经网络RNN的变种，包含三个门，分别是输入门，遗忘门和输出门。

sigmoid函数主要是决定什么值需要更新；

tanh函数：创建一个新的候选值向量，生成候选记忆。

rnn梯度消失的原因：很难捕捉到长期的依赖关系，因为乘法梯度可以随着层的数量呈指数递减/递增。

LSTM中ct到ct-1的路径上梯度不会消失，并不能保证其他路径上梯度不会消失。LSTM可以缓解梯度消失，并不能消除，所以其可以解决RNN长期依赖的问题。

问题2：bert原理和注意力机制介绍一下。

bert原理：bert是基于Transformer encoder的双向编码器，模型输入包含token embedding、

position embedding、segment embedding；输出包含CLS及每个字对应的向量表示，预训练任务为MLM与NSP。

注意力机制就是对输入权重分配的关注，最开始使用到注意力机制是在编码器-解码器(encoder-decoder)中, 注意力机制通过对编码器所有时间步的隐藏状态做加权平均来得到下一层的输入变量。

问题3：召回和排序中有哪些模型，原理都了解吗？

召回模型：Youtube DNN、DSSM双塔模型、MIND用户多兴趣网络

排序模型：FM、Wide&Deep Model，DeepFM, Deep&Cross、DIN、DIEN、DSIN、BST等等。