文本特征抽取（TF-IDF）

# -*- encoding: utf-8 -*-
'''
TF-IDF，词频，抽取关键词，更具有分类意义
'''
import jieba
from sklearn.feature_extraction.text import TfidfVectorizer

data = [
    '黄河中上游以山地为主，中下游以平原、丘陵为主。',
    '由于河流中段流经中国黄土高原地区，因此夹带了大量的泥沙，所以它也被称为世界上含沙量最多的河流。',
    '但是在中国历史上，黄河下游的改道给人类文明带来了巨大的影响。'   
]

data_new = []
for sent in data:
    data_new.append(" ".join(list(jieba.cut(sent))))
data_new

['黄河 中上游 以 山地 为主 ， 中下游 以 平原 、 丘陵 为主 。',
 '由于 河流 中段 流经 中国 黄土高原地区 ， 因此 夹带 了 大量 的 泥沙 ， 所以 它 也 被 称为 世界 上 含沙量 最多 的 河流 。',
 '但是 在 中国 历史 上 ， 黄河 下游 的 改道 给 人类文明 带来 了 巨大 的 影响 。']

transer = TfidfVectorizer()
data_final = transer.fit_transform(data_new)
print(data_final.toarray())

[[0.         0.         0.32311233 0.32311233 0.32311233 0.
  0.         0.64622465 0.         0.         0.         0.
  0.         0.         0.         0.32311233 0.         0.
  0.32311233 0.         0.         0.         0.         0.
  0.         0.         0.         0.         0.         0.24573525]
 [0.         0.23851206 0.         0.         0.         0.18139457
  0.23851206 0.         0.         0.         0.         0.23851206
  0.23851206 0.23851206 0.23851206 0.         0.         0.
  0.         0.         0.23851206 0.         0.23851206 0.47702411
  0.23851206 0.23851206 0.23851206 0.23851206 0.23851206 0.        ]
 [0.33046705 0.         0.         0.         0.         0.25132871
  0.         0.         0.33046705 0.33046705 0.33046705 0.
  0.         0.         0.         0.         0.33046705 0.33046705
  0.         0.33046705 0.         0.33046705 0.         0.
  0.         0.         0.         0.         0.         0.25132871]]