【NLP基础知识】2.NLP问题中的特征、文本的向量化

目录

一、预备知识

1.独热表示one-hot

2.词频表示（TF）

3.逆文档概率（IDF）

4.词频逆文档概率表示（TF-IDF）

5.表示方法总结

二、NLP问题中的特征

1.直接可观测特征

n-gram

2.可推断的语言学特征

3.句子结构

三、特征输入

1.特征编码

1.1稠密编码（特征嵌入）

1.1.1稠密编码使用总结

1.1.2稠密编码优势

1.2组合稠密向量

1.3其他特征输入

四、文本的向量化表示（嵌入）

五、案例分析

---

一、预备知识

1.独热表示one-hot

2.词频表示（TF）

3.逆文档概率（IDF）

4.词频逆文档概率表示（TF-IDF）

5.表示方法总结

二、NLP问题中的特征

1.直接可观测特征

n-gram

2.可推断的语言学特征

3.句子结构

三、特征输入

1.特征编码

1.1稠密编码（特征嵌入）

1.1.1稠密编码使用总结

one-hot适用于特征之间关联不大的特征

1.1.2稠密编码优势

1.2组合稠密向量

1.3其他特征输入

四、文本的向量化表示（嵌入）

五、案例分析