特征工程之中文文档的特征提取

1.首先用到jieba函数，进行分片操作，具体方法如下
1）jieba.cut(text)得到的是一个生成器，需要强制转换
2）所以转化为list（jieba.cut(text)）
3）由于最后还是想字符串加空格输出，因此
" ".jion(list（jieba.cut(text)）)
作用就是用空格连接列表元素
代码实现：

from sklearn.feature_extraction.text import CountVectorizer
import jieba

def chinese_feature_demo():
    data = ["一种还是一种今天很残酷，明天更残酷，后天很美好，但绝对大部分是死在明天晚上，所以每个人不要放弃今天。",
            "我们看到的从很远星系来的光是在几百万年之前发出的，这样当我们看到宇宙时，我们是在看它的过去。",
            "如果只用一种方式了解某样事物，你就不会真正了解它。了解事物真正含义的秘密取决于如何将其与我们所了解的事物相联系。"]
    data_new = []
    for each in data:
        cut_count = chinese_cut(each)
        data_new.append(cut_count)
    
    count = CountVectorizer()
    data_feature = count.fit_transform(data_new)
    print('特征矩阵是：\n',data_feature.toarray())
    print('特征名是：\n',count.get_feature_names())


def chinese_cut(text):

    return " ".join(list(jieba.cut(text)))
chinese_feature_demo()


结果：
特征矩阵是：
 [[2 0 1 0 0 0 2 0 0 0 0 0 1 0 1 0 0 0 0 1 1 0 2 0 1 0 2 1 0 0 0 1 1 0 0 1
  0]
 [0 0 0 1 0 0 0 1 1 1 0 0 0 0 0 0 0 1 3 0 0 0 0 1 0 0 0 0 2 0 0 0 0 0 1 0
  1]
 [1 1 0 0 4 3 0 0 0 0 1 1 0 1 0 1 1 0 1 0 0 1 0 0 0 1 0 0 0 2 1 0 0 1 0 0
  0]]
特征名是：
 ['一种', '不会', '不要', '之前', '了解', '事物', '今天', '光是在', '几百万年', '发出', '取决于', '只用', '后天', '含义', '大部分', '如何', '如果', '宇宙', '我们', '所以', '放弃', '方式', '明天', '星系', '晚上', '某样', '残酷', '每个', '看到', '真正', '秘密', '绝对', '美好', '联系', '过去', '还是', '这样']