自然语言处理 | (16) 文本表示概述

目录

1.为什么要进行文本表示

2.文本表示分类(基于粒度，从细到粗)

3.文本表示方法分类

---

文本表示，简单来说就是把文本变成数学上方便处理的向量(数字)而不是字符串。而怎么把字符串变成向量，是文本表示的核心问题。

1.为什么要进行文本表示

• 根本原因是计算机不方便直接对文本字符串进行处理，因此需要进行数值化或向量化。
• 便于机器学习算法处理。不仅传统的机器学习算法需要这个过程，深度学习也需要这个过程。
• 良好的文本表示形式可以极大的提高算法的效果。

 

2.文本表示分类(基于粒度，从细到粗)

• 词表示(将词转换为向量，更细粒度：英文中的字母/字符表示，中文中的字表示)
• 句子表示(或短文本表示)
• 文本表示(篇章表示)

 

3.文本表示方法分类

• 离散表示

1. one-hot表示

2. multi-hot表示

• 分布式表示

(一) 基于矩阵

1.基于降维的方法

2.基于聚类的方法

(二) 基于神经网络

1.CBOW

2.Skip-gram

3.NNLM

4.C&W

 

在接下里的几篇博客会详细介绍上述文本表示方法。