算法面经京东篇

实习1
1.介绍sigmoid
2.交叉熵、信息熵、KL散度 原理和关系
3.交叉熵怎么推出来的
4.focal loss和交叉熵 做惩罚在哪里，区别是什么：一个是加权重，一个是log函数
5.混淆矩阵
6.Bert用transformer decoder没
7.transformer结构
8.transformer残差作用
9.transformer mask在哪里：在self-attention QKV时，KV算比重的时候-inf过softmax变0

实习2
1.Bert mask NSP讲讲 mask 是为了学到什么NSP哪不好
对于NSP任务来说，正样本=正常顺序的2个相邻句子，负样本=随机2个句子，
对于SOP任务来说，正样本=正常顺序的2个相邻句子，负样本=调换顺序的2个相邻句子。
NSP任务原本是希望去学习句间关系的，但该任务过于简单，模型可以直接从主题语义的角度去进行二分类，所以其学习是低效的。
而SOP任务，才是让模型更加关注句子间的关系
2.self-attention的优势，为了学到什么
3.多分类，给你每个类的词表，让你引入这些信息，怎么加强多分类；每个词在几个类可能都出现了，权重不一样
4.数据不均衡怎么办