课前提问
问题1:什么是词嵌入?
问题2:如何嵌入?
课后回答
1 什么是学习词嵌入?
答案:学习词嵌入是功能,即向系统输入依次几个单词,系统自动预测出下一个单词是什么,eg a glass of orange ___,系统会自动预测出juice这个单词,我们把系统的这种功能叫做“学习词嵌入”。
2 如何嵌入?
答案:首先需要建立一个神经语言模型(这里需要注意的是吴教授没有用到RNN,用到的是一般的神经网络NN,所以刚开始看那个模型图,没有看懂,后来就看懂了)
其中E是一个大矩阵,每一列代表一个词的属性。