算法工程师2021年社招面试

1. 携程旅行(一面)

• 1. bert的预训练任务，损失函数
  MASK LM 和 NEXT SENTENCE PREDICTION
  交叉熵损失函数
• 2. transformer self attention过程 ⭐️⭐️⭐️⭐️⭐️
  见transformer面试
• 3. transformer编码方式和bert有什么不同，为什么要用sin和cos函数
  见transformer面试
• 4. CRF是判别式模型还是生生式模型，为什么
  见博客判别式模式和生成式模型
• 5. 分类常用的指标，怎么计算的？roc怎么画的
  1. precision recall macro_precision micro_precision
  2. roc以真阳率（正例里预见了多少）为y轴，假阳率（反例说错了多少）为x轴
  3. roc是一条从左下角向右上角延伸，同时偏向左上角的曲线（正例全都判断对的比例为 1（图像顶部），说错的反例占比为 0（图像左部）【0，1坐标】）
• 6. bert等预训练模型fine tuning时候怎么优化，prompt是是怎么做的
  Prompt,简单来说是：将下游任务的输入输出形式改造成预训练任务中的形式,让下游任务适应预训练模型;比如：对于情感分类，原有的任务形式是：输入：“今天天气好”输出：“正面情绪”标签的判别结果,在 prompt 范式下，这会将输入改造为：输入：“今天天气好，我的情绪是[MASK]的。输出：“开心”当然，具体实现的时候，还需要一个额外的映射将“开心”识别为“正面情绪”标签
• 7. 项目相关，badcase有哪些类型，怎么处理的，有什么难点
• 8. crf和hmm有什么区别 ⭐️⭐️⭐️⭐️⭐️
  1. CRF 是判别模型，对问题的条件概率分布建模，HMM 是生成模型，对联合概率分布建模
  2. 在HMM模型中，当前的单词只依赖于当前的标签，当前的标签只依赖于前一个标签。这样的局部性限制了HMM只能定义相应类型的特征函数，但是CRF却可以着眼于整个句子s定义更具有全局性的特征函数
  3. CRF 可以用前一时刻和当前时刻的标签构成的特征函数，加上对应的权重来表示 HMM 中的转移概率，可以用当前时刻的标签和当前时刻对应的词构成的特征函数，加上权重来表示 HMM 中的发射概率，可以将 HMM 模型看作 CRF 模型的一种特殊情况，即所有能用 HMM 解决的问题，基本上也都能用 CRF 解决，并且 CRF 还能利用更多 HMM 没有的特征

2. 依图科技

主要考数据结构算法

• 字符串减法：面试题21
• 一个由0，1组成的矩阵，随机给定一个start的坐标(x，y)，求从start开始便利万矩阵中所有1所经过的最短路径

3. soul app

主要考数据结构算法：

• 10进制和26进制加法：面试题20
• 样本不均衡怎么处理，focal loss原理

4. 智慧芽

根据项目问：

• bert和roberta的区别
• bert和transformer的区别，位置编码为什么要通过训练的方式获得
  1. 使用训练的方式和使用三角函数的方式所取得效果基本一样，而相比较起来使用训练的方式直观、简单、易懂；而使用三角函数的方式，理解起来比较困难些
  2. 感觉上使用训练的方式更加灵活，使用大数据驱动来学习貌似比人工提取特征会更强
• ner里bert后面接crf有什么用
• onnx的过程
• ner样本不均衡怎么处理，ner的前沿方法
  1. 数据增强来处理ner样本不均衡：A. 训练集中同类实体替换 B. 按近义替换实体上下文 C. 随机删除实体上下文 D. 对实体与上下文都进行替换
• 机器翻译中术语替换后如何恢复
• bm25算法相关，调节长度对效果影响的参数是哪个?(b还是k1)[答案：b]
• topk-topP解码和beam-search解码
• 双向最大匹配自动标注数据会出现什么问题，trie树有了解过没，AC自动机了解过没

5. 携程2面

（1） 各种激活函数的优缺点，sigmoid不是关于原点对称会造成什么问题

（2）24.2 LN和BN的不同，什么情况下使用BN,什么情况下使用LN

1. BN针对一个minibatch的输入样本，