语言表征：从词嵌套到句子语义

演讲链接：https://www.youtube.com/watch?v=nFCxTtBqF5U

PDF链接： https://simons.berkeley.edu/sites/default/files/docs/6449/christophermanning.pdf

去年，Christopher Manning教授发表了这个演讲。这是一个介绍性教程，没有太复杂的算法。 该主题分为四个部分：

• 人类语言特征
• 分布式词表征
• 双向LSTM现状
• RNN的一些应用

人类语言特征

人类语言最鲜明的特征之一是其有意义的表征。 无论一个人说什么，一个词或一个词组，它往往都有意义。 人类语言也有一个特殊的结构，使其易于学习，即使是孩子也可以快速学习。 与最先进的机器学习方法中使用的必要输入不同，人类语言更可能是离散/符号/分类表征。 因此，我们需要一种更有效、更有意义的方式来编码人类语言。

分布式词表征

词向量

就一些传统的机器学习方法而言，词被表示为向量空间中的离散向量（即one-hot编码），例如 [0 0 0 0 1 0 0 1] 可能是一个具备同样规模词汇量的大的向量。但这种方法存在一个问题，即缺乏相似性的自然概念。例如如果我们想要搜索“Dell notebook”，我们也可以接受词条“Dell lapto