贪心学院—自然语言处理—向量表示

one-hot编码

该编码方式的向量长度=词典大小

• Boolean Representation：未出现记为0,出现记为1

• Count-based Representation：未出现记为0，出现记出现的次数. 该方法中出现次数越多并不代表越重要

举例：

TF-IDF

• $$TF-IDF\left(w\right)=TF\left(d,w\right)\ast IDF\left(w\right)$$
  TF词频( TermFrequency ) ，IDF逆向文件频率( InverseDocumentFrequency ) 主要用于表示单词的重要程度.其中：
  $$TF\left(d,w\right)=\frac{count\left(w\right)}{count\left(d\right)},\text{文档}d\text{中}w\text{的词频}$$

$$IDF\left(w\right)=\log \frac{N}{N\left(w\right)},N\text{表示文档总数，}N\left(w\right)\text{表示包含}w\text{的文档数目}$$

• 假设理论： 对区别文档最有意义的词语应该是那些在文档中出现频率高，而在整个文档集合的其他文档中出现频率少的词语，所以如果特征空间坐标系取TF词频作为测度，就可以体现同类文本的特点。另外考虑到单词区别不同类别的能力，TFIDF法认为一个单词出现的文本频数越小，它区别不同类别文本的能力就越大。

• 举例：

上述三种方法只是简单的表示除分词在文档中的出现情况，并未学习到句子结构中的任何句法语法信息。

两种方法的优缺点

1. 稀疏性：使用one-hot编码会出现每行只有一位为1，其余均为0的现象。
2. 向量表太大
3. one-hot表示的词向量不能用于计算词于词之间的相似性（计算结果为零）。

---

个人整理笔记，方便复习，若侵权，请联系。
附贪心学院课程链接： https://www.greedyai.com/courseinfor/105