TF-IDF+sklearn 读取文件夹中文件并给出每个文件主题

# 第一步：

import os

path = 'export_output_clean' #文件夹目录
fileLists= os.listdir(path) #得到文件夹下的所有文件名称

print(fileLists)

s = []

for file in fileLists: #遍历文件夹
     if not os.path.isdir(file): #判断是否是文件夹，不是文件夹才打开
            f = open(path+"/"+file, encoding = 'utf-8'); #打开文件
            iter_f = iter(f); #创建迭代器
            str = ""
            for line in iter_f: #遍历文件，一行行遍历，读取文本
                str = str + line
            s.append(str) #每个文件的文本存到list中
            
print(s)

# 第二步：
# 数据整理，去除换行符等

def str_replace(str_source,char,*words):
    str_temp=str_source    
    for word in words:
        str_temp=str_temp.replace(word,char)
    return str_temp

a = []

for content_temp in s:
    a.append(str_replace(content_temp,",","\t","\n","\ufeff"))
    
print(a)

# 第三步：
# TF-IDF
from sklearn.feature_extraction.text import CountVectorizer
from sklearn.feature_extraction.text import TfidfTransformer
 
x_train = a
 
#该类会将文本中的词语转换为词频矩阵，矩阵元素a[i][j] 表示j词在i类文本下的词频
vectorizer = CountVectorizer(max_features=17)


#该类会统计每个词语的tf-idf权值
tf_idf_transformer = TfidfTransformer()
#将文本转为词频矩阵并计算tf-idf
tf_idf = tf_idf_transformer.fit_transform(vectorizer.fit_transform(x_train))
#将tf-idf矩阵抽取出来，元素a[i][j]表示j词在i类文本中的tf-idf权重
x_train_weight = tf_idf.toarray()

#获取词袋模型中的所有词语
word = vectorizer.get_feature_names()

print(word)
 
print('输出x_train文本向量：')
print(x_train_weight)
print(x_train_weight.argmax(axis = 1)) 

第一步结果：


第二步结果：

第三步结果：

我有268个文件，故最后输出268个数字