最近学的一个多线程的案例,然后自己又重新写了一遍
开始! 比较简单,主要是知识点。
1.导入模块
from concurrent.futures import ThreadPoolExecutor #线程池
import requests
from lxml import etree
import csv
2.存储为csv文本
f = open('xinxin.csv','w',encoding='utf-8')
csvwriter = csv.writer(f)
3.定义取单页的函数
def get_one_page(url):
resp = requests.get(url).text
html = etree.HTML(resp)
table = html.xpath('/html/body/div[2]/div[4]/div[1]/table')[0]
trs = table.xpath('./tr[position()>1]')
for tr in trs:
data = tr.xpath('./td/text()')
data = (item.replace('//', '').replace("\\", '') for item in data)
#print(data)
csvwriter.writerow(data)
3.定义线程池,爬取数据
if __name__ == '__main__':
#创建线程池
with ThreadPoolExecutor(50) as t:
for i in range(1,200):
#将任务提交给线程池
t.submit(get_one_page,f'http://www.xinfadi.com.cn/marketanalysis/0/list/{i}.shtml')
print('over!!!!!')
4.比较简单,后续继续补充。。。