nlp面试题

1: 词向量是什么, 有哪些方式生成词向量, 句子的词向量是什么?

从稀疏id编码演变到稠密词向量, 意味着NLP迈向了成熟。
one-hot, word2vec, glove是早期词向量, 无法解决多义词的问题。
ELMo, BERT为代表的的新一代词向量, 可以解决多义词问题, 因此得到广泛的应用。
可以将句子整体输入BERT, 得到统一编码的矩阵作为句子向量; 也可以对每一个词单独生成词向量, 在做加权平均, 甚至直接求和。

2: Bert为啥能解决一词多意?怎么做到的?

1: 第一个原因在于句子作为整体输入BERT编码器, 通过多头注意力机制可以融合上下文信息, 同一个单词在不同的上下文中, 输出端会产生不同的词向量。
2: BERT拥有位置编码positional embedding, 主动融入了单词在句子中的位置信息, 相比于早期的word2vec, glove就显得信息丰富多了。

3: batch_size参数是如何影响模型的训练效果? 收敛速度? 过拟合的? 出现对应的问题你是如何解决的? 你用过哪些方法?

batch_size大小可以影响模型训练的时间和效果, batch_size不可过大和过小。

batch_size过大: 内存的利用率高, 每次epoch迭代的次数少了, 处理速度提高一些; 但是精度会下降, 容易陷入局部最优点。

batch_size过小: 精度会有多提高, 但是迭代的次数过多, 容易过拟合。