python多线程访问网页_通过python多线程访问网页

通过python多线程访问网页

@for&ever 2010-07-03

通过python，采用多线程的方式访问网页。

一个简单的小例子，访问三个不同的页面，每个页面开20个线程并发访问。

python脚本如下：

#!/usr/bin/env python

# -*- coding: utf-8 -*-

'''

Created on 2010-7-2

@author: forever

'''

import sys

import threading

from urllib import urlopen

urls = ["/archive/2010/07/03/5711257.aspx",

"/archive/2010/06/28/5699311.aspx",

"/archive/2010/07/03/5711270.aspx",

]

visitTimesPerPage = 20

def usage():

print 'Usage:', sys.argv[0], 'host'

def main(argv):

host = argv[1]

if host == '':

usage()

sys.exit(2)

else:

for i in range(visitTimesPerPage):

for url in urls:

visit