#tfidf词频矩阵
from sklearn.feature_extraction.text import TfidfTransformer
#贝叶斯分类器
from sklearn.naive_bayes import MultinomialNB
#数据引入
def dataImport(path):
#得到文件名列表
files=os.listdir(path)
return files
#对单个文件分词 返回字符串 一个文件对应一个字符串
def fenci(filpath):
#open文件之后read,可以把文件变成字符串
text=open(filpath, "r", encoding="utf-8").read()
#cut返回的是一个可迭代的generator,可以使用 for 循环来获得分词后得到的每一个词语
cutfile=jieba.cut(text)
#把生成器变成用空格分开的字符串
cuttext=""
for word in cutfile:
cuttext+=word+" "
#返回空格分开的字符串文本
return cuttext
#将所有文件转化为一个数组 一个文件是一项 并建立对应的分类名数组
##将文件转化为一个数组 并建立对应的分类名数组
def covertArray(text):
array=[text]
return array
#加权矩阵化 tfidf
def tfidf(matrix):
#matrix = CountVectorizer().fit_transform(array)
tfidfmatrix=TfidfTransformer(use_idf=False).fit_transform(matrix)
return tfidfmatrix
#分类
def bayesc
Tf-idf 简单贝叶斯文档分类
最新推荐文章于 2022-08-12 23:35:30 发布