NLP常见面试题

最新推荐文章于 2024-07-24 15:02:00 发布

期待脱离苦海的小叮当

最新推荐文章于 2024-07-24 15:02:00 发布

阅读量1.4k

点赞数 1

分类专栏： NLP

本文链接：https://blog.csdn.net/weixin_42027200/article/details/111996687

版权

本文涵盖了NLP面试中常见的问题，包括困惑度在评估语言模型中的应用，梯度爆炸和消失的解决策略，SVD与神经网络词向量方法的区别，LSTM的隐藏层与单元状态详解，以及优化器Adam的优缺点。还讨论了BatchNorm和LayerNorm的差异，Transformer的特点，GPT与BERT的对比，过拟合和梯度问题的解决方案等核心概念。

摘要由CSDN通过智能技术生成

1、什么是困惑度（perplexity）？它在 NLP 中的作用是什么？
困惑度是一种用于评估语言模型通顺程度的方法，测评困惑度的方法为：对测试集中的句子计算语言模型概率，概率越高则语言模型越好。
在这里插入图片描述
由公式可知，句子概率越大，语言模型越好，迷惑度越小。
2、梯度爆炸和梯度消失是什么？如何解决？
反向传播时，如果网络过深，每层梯度连乘小于1的数，值会趋向0，发生梯度消失。大于1则趋向正无穷，发生梯度爆炸。
梯度爆炸 — 梯度剪裁
梯度剪裁：如果梯度过大则投影到一个较小的尺度上
梯度消失 — 使用ReLU 和 PReLU
其他方法：使用 Batch Normalization 、Xavier 初始化和正交初始化（RNN）
3、SVD 的词向量方法和神经网络的词向量方法有什么区别？
SVD 是线性方法，而神经网络是非线性方法。
4、LSTM 的隐层（hidden）和单元状态（cell state）都有哪些信息？
隐层状态ht保存直至当前时刻的所有信息。单元状态ct保存了下一时刻可能会用到的信息。
5、LSTM 模型的参数数量（包括 bias）