分布式表示和分布表示

标签（空格分隔）： 《基于深度学习的自然语言处理》阅读笔记 NLP

---

分布式表示

  书上说：在分布式表示中，每个实体被表示为值的向量，并且实体的含义及其与其他实体的关系由向量中的激活以及不同向量之间的相似性来捕获。在语音处理的上下文中，这意味着不应将词（和句子）映射到离散维度，而是映射到共享的低维空间，其中每个单词将与d为向量相关联，词将被其与其他单词的关系和其向量中的激活值所捕获。
  上面的话是书中的原文，用简洁的语言表示就是，分布式描述的是把信息分布式地存储在向量的各个维度中，与之相对的是局部表示，如词的独热表示（one-hot），在高维向量中只有一个维度描述了词的语义。
  一般来说，通过矩阵降维或神经网络降维可以将语义分散存储到向量的各个维度中，因此，这类方法得到的低维向量一般都可以称作分布式表示。

分布表示（分布语义）

  书上说：其中一个词的含义可以从其在语料库中的分布中导出，即从其被使用的语境的总和中导出。在相似的上下文中出现的词倾向于具有相似的含义。
  简洁来说：分布描述的是上下文的概率分布，因此用上下文描述语义的表示方法都可以称作分布表示。
  更加形象的来说就是，词向量里面带有上下文的信息。