![7dab78a61b36ce4d431f405946ce3761.png](https://i-blog.csdnimg.cn/blog_migrate/68f267ac38232c329731d51b28ac6b36.jpeg)
如果觉得还不错,帮忙点个赞,鞠躬感谢
微信公众号:NLP从入门到放弃
Github: https://github.com/DA-southampton/NLP_ability
主要包含:Word2vec/Fasttext/Glove/Elmo
- 有没有使用自己的数据训练过Word2vec,详细说一下过程。包括但是不限于:语料如何获取,清理以及语料的大小,超参数的选择及其原因,词表以及维度大小,训练时长等等细节点。
- Word2vec模型是如何获得词向量的?聊一聊你对词嵌入的理解?如何理解分布式假设?
- 如何评估训练出来的词向量的好坏
- Word2vec模型如何做到增量训练
- 大致聊一下 word2vec这个模型的细节,包括但不限于:两种模型以及两种优化方法(大致聊一下就可以,下面会详细问)
- 解释一下 hierarchical softmax 的流程(CBOW and Skip-gram)
- 基于6,可以展开问一下模型如何获取输入层,有没有隐层,输出层是什么情况。
- 基于6,可以展开问输出层为何选择霍夫曼树,它有什么优点,为何不选择其他的二叉树
- 基于6,可以问该模型的复杂度是多少,目标函数分别是什么,如何做到更新梯度(尤其是如何更新输入向量的梯度)
- 基于6,可以展开问一下 hierarchical softmax 这个模型 有什么缺点
- 聊一下负采样模型优点(为什么使用负采样技术)
- 如何对输入进行负采样(负采样的具体实施细节是什么)
- 负采样模型对应的目标函数分别是什么(CBOW and Skip-gram)
- CBOW和skip-gram相较而言,彼此相对适合哪些场景
- 有没有使用Word2vec计算过句子的相似度,效果如何,有什么细节可以分享出来
- 详细聊一下Glove细节,它是如何进行训练的?有什么优点?什么场景下适合使用?与Word2vec相比,有什么区别(比如损失函数)?
- 详细聊一下Fasttext细节,每一层都代表了什么?它与Wod2vec的区别在哪里?什么情况下适合使用Fasttext这个模型?
- ELMO的原理是什么?以及它的两个阶段分别如何应用?(第一阶段如何预训练,第二阶段如何在下游任务使用)
- ELMO的损失函数是什么?它是一个双向语言模型吗?为什么?
- ELMO的优缺点分别是什么?为什么可以做到一词多义的效果?