记录一下学习使用aiohttp+async抓取商城价格

记录一下学习使用aiohttp+async抓取商城价格

# -*-coding:utf-8-*-
import time
import aiohttp
import asyncio
from lxml import etree
import pandas as pd

def get_url():
    df=pd.read_excel('商城链接.xlsx')
    return df

headers={
            "user-agent": "Mozilla/5.0 (Windows NT 10.0; WOW64) AppleWebKit/537.36 (KHTML, like 				 Gecko) Chrome/90.0.4430.85 Safari/537.36",
        }
        
proxy="http://ip"

asyncio.set_event_loop_policy(asyncio.WindowsSelectorEventLoopPolicy())#处理证书验证错误


async def fetch(url):			#使用async定义，返回协程对象，主要功能获取源网页
    async with aiohttp.ClientSession(connector=aiohttp.TCPConnector(limit=64,verify_ssl=False)) as session:			#使用aiohttp模块进行异步请求,因为requests不支持异步请求。
    				
        async with session.get(url,headers=headers,proxy=proxy) as response:
        
            return await response.text()#这里的返回结果可等待，所以添加await关键字，进行挂起


async def parse(url,semaphore):		#主要功能实现解析，获取价格
    async with semaphore:#限制并发量，否则将会报：ValueError: too many file descriptors in select()
        try:
            html=await fetch(url)	#获取一下源网页，（调用该方法可等待）便于下面使用xpath解析
            tree=etree.HTML(html)
            try:  #异常捕获，出现index错误，则设置price为-1
                price_page=tree.xpath('//b[@id="bSalePrice"]/text()')[0]#获取到price，格式不规范，清理一下格式
                price=price_page.strip()
                price=price.replace('¥','')
                print(price)
            except  IndexError:
                price='-1.00'
                
            return price_list
        except  aiohttp.ClientConnectorError:#这里捕获是为了访问太频繁，被限制了，沉睡5秒
            time.sleep(5)


def run(data):		
    semaphore = asyncio.Semaphore(300)	#限制并发，值为想要并发的数量
    loop=asyncio.get_event_loop()		#创建一个时间循环，（固定公式）
    tasks=[asyncio.ensure_future(parse(url,semaphore)) for url in data]#将每个url请求封装成一个协程对象，future实质上为一个容器
    tasks=asyncio.gather(*tasks)	#将上面的tasks整合成一个future，
    loop.run_until_complete(tasks)	#执行tasks

# def save(price_list):
#     jiage=pd.DataFrame(price_list)
#     jiage.to_excel('5.10抓取价格.xlsx',index=False)


if __name__ == '__main__':
    start=time.time()				#统计耗时
    df=get_url()					#因为url存放在excel文件中，使用pandas获取url
    data=df['链接']
    data=list(data)
    run(data)
    print('花费时间为：{}秒'.format(time.time()-start))


理解很浅薄，后面会继续优化