# 第一步:
import os
path = 'export_output_clean' #文件夹目录
fileLists= os.listdir(path) #得到文件夹下的所有文件名称
print(fileLists)
s = []
for file in fileLists: #遍历文件夹
if not os.path.isdir(file): #判断是否是文件夹,不是文件夹才打开
f = open(path+"/"+file, encoding = 'utf-8'); #打开文件
iter_f = iter(f); #创建迭代器
str = ""
for line in iter_f: #遍历文件,一行行遍历,读取文本
str = str + line
s.append(str) #每个文件的文本存到list中
print(s)
# 第二步:
# 数据整理,去除换行符等
def str_replace(str_source,char,*words):
str_temp=str_source
for word in words:
str_temp=str_temp.replace(word,char)
return str_temp
a = []
for content_temp in s:
a.append(str_replace(content_temp,",","\t","\n","\ufeff"))
print(a)
# 第三步:
# TF-IDF
from sklearn.feature_extraction.text import CountVectorizer
from sklearn.feature_extraction.text import TfidfTransformer
x_train = a
#该类会将文本中的词语转换为词频矩阵,矩阵元素a[i][j] 表示j词在i类文本下的词频
vectorizer = CountVectorizer(max_features=17)
#该类会统计每个词语的tf-idf权值
tf_idf_transformer = TfidfTransformer()
#将文本转为词频矩阵并计算tf-idf
tf_idf = tf_idf_transformer.fit_transform(vectorizer.fit_transform(x_train))
#将tf-idf矩阵抽取出来,元素a[i][j]表示j词在i类文本中的tf-idf权重
x_train_weight = tf_idf.toarray()
#获取词袋模型中的所有词语
word = vectorizer.get_feature_names()
print(word)
print('输出x_train文本向量:')
print(x_train_weight)
print(x_train_weight.argmax(axis = 1))
第一步结果:
第二步结果:
第三步结果:
我有268个文件,故最后输出268个数字