线程池的简单案例

最近学的一个多线程的案例，然后自己又重新写了一遍
开始！ 比较简单，主要是知识点。
1.导入模块

from concurrent.futures import ThreadPoolExecutor  #线程池
import requests
from lxml import etree
import csv

2.存储为csv文本

f = open('xinxin.csv','w',encoding='utf-8')
csvwriter = csv.writer(f)

3.定义取单页的函数

def get_one_page(url):
    resp = requests.get(url).text
    html = etree.HTML(resp)
    table = html.xpath('/html/body/div[2]/div[4]/div[1]/table')[0]
    trs = table.xpath('./tr[position()>1]')
    for tr in trs:
        data = tr.xpath('./td/text()')
        data = (item.replace('//', '').replace("\\", '') for item in data)
        #print(data)
        csvwriter.writerow(data)

3.定义线程池，爬取数据

if __name__ == '__main__':
    #创建线程池
    with ThreadPoolExecutor(50) as t:
        for i in range(1,200):
            #将任务提交给线程池
            t.submit(get_one_page,f'http://www.xinfadi.com.cn/marketanalysis/0/list/{i}.shtml')
    print('over!!!!!')

4.比较简单，后续继续补充。。。