python批量读取文本行,如何使用Python从目录中读取大量文本文件

我正在做一个使用Python(3.6)和Django(2)的项目,在这个项目中,我需要从一个目录中逐个读取所有的文本文件,我已经编写了代码,但是它只从一个文件夹中读取28个文件,这个文件夹有30个文本文件,用于测试目的,并返回一个错误。

views.py:

def get_txt_files(base_dir):

for entry in os.scandir(base_dir):

if entry.is_file() and entry.name.endswith(".txt"):

# print(entry.path)

yield entry.path, entry.name

elif entry.is_dir():

yield from get_txt_files(entry.path)

else:

print(f"Neither a file, nor a dir: {entry.path}")

for path, name in get_txt_files(obj.textPath):

print(path)

sa_response = nlp_text_manager(path, name)

def nlp_text_manager(text_path, name):

text = text_path

txt = Path(text_path).read_text(encoding='cp1252')

# then use the files below that.....

它在读取28个文件后返回此错误:

v=自我_sslobj.read(长度,缓冲区)

[2018年12月11日07:16:20]“POST/HTTP/1.1”500 16416

提供的文件夹中的文件数量可能非常大,可能文件夹的大小以GBs为单位,那么,从目录中读取大量文件的有效pythonic方法是什么?

提前谢谢!