文本处理

1.函数

from sklearn.feature_extraction.text import CountVectorizer
import jieba
from sklearn.feature_extraction.text import 

vect=CountVectorizer(ngram_range=(2,2))             # n-gram模式
en=['The quick browen fox jumps over a dog']
vect.fit(en)
print('单词：{}'.format(vect.vocabulary_))

针对中文

cn='那只敏捷的棕色狐狸跳过了一只懒惰的狗'
cn=jieba.cut(cn)
cn=[' '.join(cn)]
vect.fit(cn)
print('单词：{}'.format(vect.vocabulary_))

2.使用词带模型将文本转化为数据 vect.transform()

bag_of_words=vect.transform(cn)
print('词带：{}'.format(bag_of_words.toarray()))

3.进一步优化

3.1 n-Gram模型

3.2 tf-idf模型处理文本

from sklearn.feature_extraction.text import TfidfVectorizer,CountVectorizer
en=['The quick browen fox jumps over a dog']
#df=CountVectorizer()
#df.fit(en)
#en1=df.transform(en)
#print(en1.toarray(),df.vocabulary_)
tf_e=TfidfVectorizer(stop_words='english')      #停用词的去除
tf_e.fit(en)
tf_d=tf_e.transform(en)

print(tf_d.toarray(),tf_e.vocabulary_)