python多线程读取文件夹下的文件_Python多线程读取文件进程读取到内容不全如何破...

本地文件内容为每行一个url

python代码如下：

#!/usr/bin/env python

# coding=utf8

import requests

import threadpool as tp

num = 200

urllist = open('./url.txt', 'r')

def start(args):

flag = 0

for url in urllist.readlines():

url = url.strip('\n')

try:

res = requests.get(url)

except:

print "[ERROR] [%s] %s\n" % (flag, url)

continue

flag += 1

print "[%s] %s : %s\n" % (flag, url, res.status_code)

args = range(0, num)

pool = tp.ThreadPool(num)

reqs = tp.makeRequests(start, args)

[pool.putRequest(req) for req in reqs]

pool.wait()

pool.dismissWorkers(num, do_join=True)

print "Done.\n"

由于文件较大(200M左右)，检查执行日志发现有时候进程读取到的每行内容不全。

有时候只读取到"http://xxx.com/"，后面的部分就没有了，导致请求出错。

求大神指导。

这是一个很明显的多线程竞争问题。看了问题描述，感觉在多线程下处理起来很麻烦。

如果可以的话，建议用单线程解决最好。在我的电脑上，200M的文件，瞬间就读完了，没有延迟。

如果一定要用多线程，请追问(强烈不建议多线程解法)。

玩蛇网文章，转载请注明出处和文章网址：https://www.iplaypy.com/wenda/wd18830.html

相关文章 Recommend