机器学习/人工智能的笔试面试题目——NLP相关面试

目录

1.文本表示模型及其优缺点

2.word2vec是如何工作的？它和LDA有什么区别和联系呢？

3.处理文本数据时，RNN比CNN有什么特点？

4.RNN为什么会出现梯度消失或梯度爆炸？有哪些解决方案？

5.LSTM是如何实现长短期记忆功能的？

6.LSTM中各模块分别使用什么激活函数，可以使用别的激活函数吗？

7.Seq2Seq模型的概念？优点？缺点？

8.Seq2Seq模型在解码时，有哪些常用方法？

9.Seq2Seq模型加入注意力机制是为了解决什么问题？为什么会选用双向循环神经网络？

10.命名实体识别算法有哪些？优缺点？

11.如何对中文分词问题利用隐马尔可夫模型（HMM）进行建模和训练

12.常见的概率图模型中，哪些是生成式模型，哪些是判别式模型？

13.决策树的概念？有哪些常用的启发函数？如何对决策树进行剪枝？

14.深度学习中常见的优化器？

15.如何防止过拟合以及为什么可以？

---

1.文本表示模型及其优缺点

可分为传统模型和词嵌入模型。

传统模型包括词袋模型、TF-IDF、n-gram、LDA，其中词袋模型主要是依据字典来计算每个样本中的词语对应的频率/有无出现特征；而TF-IDF主要是用来衡量某个单词对于语义区别的重要性；n-gram主要是通过滑动窗口的形式将连续的单词作为对应特征；LDA是通过分解“文档-单词”矩阵来得到“文档-主题”和“主题-单词”两个概率分布，主要目的是计算每篇文档的主题分布。这一类传统模型实现较为简单，效率高，但所获得的的特征不包含语义信息，且易造成维度灾难。

词嵌入模型属于深度学习的范畴，旨在将每个单词映射成一个低维的稠密向量，包括word2vec、Glove、fasttext等算法，其中最常用的是word2vec，其次是fasttext。在语义获取上更有优势。

2.word2vec是如何工作的？它和LDA有什么区别和联系呢？

关于word2vec的工作原理可参考[大话NLP领域的传统词向量预训练

而针对word2vec与LDA的区别与联系：

LDA是通过分解“文档-单