词向量、预训练词向量、Word2Vec、Word Embedding概述

最近在做序列标注项目的时候涉及到了Word Embedding和预训练词向量，发现对这三者的概念不清晰，以前实习用到的Word2Vec也忘的差不多了，故在这里简述三者之间的区别和联系，若有不正确之处还望大家不吝赐教，谢谢！

一、词向量

(一) 概述

1. 词向量：以一定长度的向量形式表示一个字/词。
2. 使用词向量的原因：将自然语言（Natural Language）转换为计算机可以识别的数字化形式，从而进行机器学习等高阶任务。

(二)表示方法

1. One-Hot

俗称“独热编码”，用0/1的方式表征词语，用于将自然语言转换为计算机可以理解的向量形式的一种转换方法。这种编码方式能够唯一地表示每一个字/词，这个one-hot向量的维度是所有不重复出现的字/词的字典，当前字/词只在某一个维度上向量表示为1，其余维度都为0，例如：

["中国", "美国", "日本", "美国"]--->[[1,0,0], [0,1,