我不熟悉Python和多线程,所以请耐心等待。在
我正在编写一个脚本,通过信任网(weboftrust)处理列表中的域,这是一个按“可信程度”对网站进行排名的服务,并将它们写入CSV。不幸的是,Web of Trust的服务器可能需要相当长的时间来响应,而处理10万个域可能需要几个小时。在
到目前为止,我在多线程处理方面的尝试令人失望——尝试从this answer修改脚本会产生线程错误,我相信是因为有些线程需要太长时间才能解决。在
这是我未修改的脚本。有人能帮我多线程吗,或者给我指一个好的多线程资源?提前谢谢。在import urllib
import re
text = open("top100k", "r")
text = text.read()
text = re.split("\n+", text)
out = open('output.csv', 'w')
for element in text:
try:
content = urllib.urlopen("http://api.mywot.com/0.4/public_query2?target=" + element)
content = content.read()
content = content[content.index('
content = element + "," + content[25] + content[26] + "\n"
out.write(content)
except:
pass