【特征工程】Chap3 Text Data: Flatten, Filtering, Chunking

本章介绍文本的特种工程。从最简单的 bag-of-words开始。下一章会介绍tf-idf。

Bag of X: Turning Natural Text into Flat Vectors

简单而好理解的特征虽然不一定得到最精确的模型，但从简单开始，只有到必须的时候才增加复杂性确实是好主意。

bag-of-words，一个词数统计的列表，虽然找不到文本中特殊的词，但可以发现那些多次出现的词。这对解决文本分类问题，或者提取文本关键信息（从文本中提取和input text query有关的信息）是足够的。因为词的出现与否是文章主题的强反应。

Bag-of-words

将文本转换为词向量，flat vector. 原文本是词的序列而bow不是序列，bow只记住了每个词出现的次数。同时bow也不表达任何词的等级

bow中，每个词代表向量的一个维度，若向量是n维的，则该文本表示n维空间中的一个点。

Bag-of-N-Grams

bon,bow的进阶。 bon长度为n的tokens序列，保留了更多的原文本序列结构，因此包含更多信息。但是，k个不同的词就有k*k个bigrams（2grams），虽然实际不会有这么多但仍比unigram多很多，这意味着更加大更稀疏的特征空间。同时，计算存储和模型也更麻烦。

举个例子：

关键：

from sklearn.feature_extraction.text import CountVectorizer

CountVectorizer

>>> import pandas
>>> import json
>>> from sklearn.feature_extraction.text import CountVectorizer
# Load the first 10,000 reviews
>>> f = open('data/yelp/v6/yelp_dataset_challenge_academic_dataset/yelp_academic_dataset_review.json')
>>> js = []
>>> for i in range(10000):
... js.append(json.loads(f.readline()))
>>> f.close()
>>> review_df = pd.DataFrame(js)
# Create feature transformers for unigram, bigram, and trigram.
# The default ignores single-character words, which is useful in practice because it trims
# uninformative words. But we explicitly include them in this example for illustration purposes.
>>> bow_converter = CountVectorizer(token_