词的表征

着重理解分布表示（distributional representation）和分布式表示（distributed representation）
一、分布假说
词的语义由其上下文决定。
二、独热向量
三、分布表示
核心：基于分布假说
Eg：研究目标词与上下文关系共现矩阵
四、分布式表示
分布式（distributed）表示向量的相似性对应于语义的相似性，它把把高维向量表示的语义信息存储在经变换的低维向量的各个维度中。
PS：分布式表示也是基于分布假说的表征方式，基于神经网络的分布表示称作 词向量、 词嵌入（word embedding）、分布式表示（distributed representation）。