1.one-hot representation与distributed representation学习笔记

词表示：

高维数据可以转换为连续的实数real valued概念向量，从而有效地从数据中捕获其潜在关系。例如，肺炎pneumonia和支气管炎bronchitis显然比肺炎和肥胖obesity更相关。在one-hot coding中，像这种不同代码之间的关系不能表示。

one-hot coding扩展： 考虑一个词表V，里面的每一个词 wi都有一个编号 i∈{1,...,|V|}，那么词 wi的one-hot表示就是一个维度为|V|的向量，其中第i个元素值非零，其余元素全为0。例如： w2=[0,1,0,...,0]T w3=[0,0,1,...,0]T 可以看到，这种表示不能反映词与词之间的语义关系，因为任意两个词的one-hot representation都是正交的；而且，这种表示的维度很高。

基于distributional hypothesis的词表示模型：

具有相似上下文的词，应该具有相似的语义。这个假说被称为distributional hypothesis。词的distributed representation（分布式表示）就是一种表示能够刻画语义之间的相似度并且维度较低的稠密向量表示，例如：

高兴=[0.2,1.6,−0.6,0.7