Python爬虫多线程

Python中使用线程有两种方式：函数或者用类来包装线程对象。

Python 2 可以使用thread方法，我用的是Python 3 ，使用threading方法

使用Threading模块创建线程，直接从threading.Thread继承，然后重写__init__方法和run方法：

代码示例：

#导入模块
import threading
import time
import requests

#定义方法func1
def func1():

    #设定开始时间
    time_start = time.time()

    #用requests方法爬取百度信息
    r = requests.get(url='http://www.baidu.com')

    #获得爬取时间
    times = time.time()-time_start

    #打印状态码和爬取时间
    print('Status:%s--%s--%s\n'%(r.status_code,times,time.strftime('%H:%M:%S')))

def main():

    threads = []

    #设置线程数
    threads_count = 10
    for i in range(threads_count):
        t = threading.Thread(target=func1,args={})
        threads.append(t)
    for i in range(threads_count):
        threads[i].start()
    for i in range(threads_count):
        threads[i].join()

if __name__ == '__main__':
    main()