python如何打开txt文件、并算词频_python读取word文本进行词频统计

首先，在cmd中输入命令行pip install python-docx，下载安装模块python-docx：

安装成功的样子

输入命令行pip install pdfminer3k安装模块：

安装pdfminer

首先我们来看看文件目录：

文件目录

然后开始写读取txt文本的代码：

def readTxt():

# 读取txt

ftxt = open('《盗墓笔记少年篇沙海》.txt') # open里的为文件路径

x = ftxt.read() # x即为读取的文件内容

ftxt.close() # 关闭文档流

return x # 返回读取到的文件内容

接下来是读取word文本的代码：

def readWord():

# 读取word

import docx # 引入python-docx模块，是的你没有看错，名字不一样

fword = docx.Document('盗墓笔记.docx') # 括号内的为文件路径

str1 = ''

for para in fword.paragraphs: # 读取word的每一段内容

str1 += para.text #para.text即为该段落的内容

return str1 # 返回读取到的文件内容

然后是读取pdf的代码：

def readPdf():

# 读取pdf

from pdfminer.pdfparser import PDFParser, PDFDocument

from pdfminer.pdfinterp import PDFResourceManager, PDFPageInterpreter

from pdfminer.converter import PDFPageAggregator

from pdfminer.layout import LTTextBoxHorizontal, LAParams

from pdfminer.pdfinterp import PDFTextExtractionNotAllowed

text_path = r'盗墓笔记.pdf'

fpdf = open(text_path, 'rb')

parser = PDFParser(fpdf) # 用文件对象创建一个PDF文档分析器

doc = PDFDocument() # 创建一个PDF文档

parser.set_document(doc) # 连接分析器与文档对象

doc.set_parser(parser)

doc.initialize()

strs = ''

if not doc.is_extractable:

# 检测文档是否提供txt转换，不提供就忽略

raise PDFTextExtractionNotAllowed

else:

pdfMgr = PDFResourceManager() # 创建PDF，资源管理器，来共享资源

laparams = LAParams() # 创建一个PDF设备对象

device = PDFPageAggregator(pdfMgr, laparams = laparams)

interpreter = PDFPageInterpreter(pdfMgr, device) # 创建一个PDF解释其对象

for page in doc.get_pages():

interpreter.process_page(page) # doc.get_pages() 获取page列表

layout = device.get_result() # 接受该页面的LTPage对象

# 这里layout是一个LTPage对象 里面存放着 这个page解析出的各种对象

# 一般包括LTTextBox, LTFigure, LTImage, LTTextBoxHorizontal 等等

# 想要获取文本就获得对象的text属性，

for x in layout:

if (isinstance(x, LTTextBoxHorizontal)):

strs += x.get_text()

return strs # 返回读取到的文件内容

然后使用jieba模块分词（该模块使用命令pip install jieba安装）：

import jieba

wordList = jieba.lcut(readTxt())

词频统计的代码：

def fluAlz(wordList):

# 词频统计

wordSet = list(set(wordList))

fluence = []

for x in range(len(wordSet)):

fluence.append([wordSet[x], wordList.count(wordSet[x])])

fluence = sorted(fluence, key = lambda flu:flu[1], reverse = True)

return fluence

最后将结果写入txt文件内：

fluence = fluAlz(wordList)

# 将结果写入txt

fwrite = open('test.txt', 'w')

fwrite.write(str(fluence))

fwrite.close()