演讲链接:https://www.youtube.com/watch?v=nFCxTtBqF5U
PDF链接: https://simons.berkeley.edu/sites/default/files/docs/6449/christophermanning.pdf
去年,Christopher Manning教授发表了这个演讲。这是一个介绍性教程,没有太复杂的算法。 该主题分为四个部分:
- 人类语言特征
- 分布式词表征
- 双向LSTM现状
- RNN的一些应用
人类语言特征
人类语言最鲜明的特征之一是其有意义的表征。 无论一个人说什么,一个词或一个词组,它往往都有意义。 人类语言也有一个特殊的结构,使其易于学习,即使是孩子也可以快速学习。 与最先进的机器学习方法中使用的必要输入不同,人类语言更可能是离散/符号/分类表征。 因此,我们需要一种更有效、更有意义的方式来编码人类语言。
分布式词表征
词向量
就一些传统的机器学习方法而言,词被表示为向量空间中的离散向量(即one-hot编码),例如 [0 0 0 0 1 0 0 1] 可能是一个具备同样规模词汇量的大的向量。但这种方法存在一个问题,即缺乏相似性的自然概念。例如如果我们想要搜索“Dell notebook”,我们也可以接受词条“Dell lapto