Python进阶必学库:使用asyncio实现协程爬虫
HackPython致力于有趣有价值的编程教学
简介
asyncio是Python3.x中比较复杂的概念?,虽然在前面已经有了《百万「并发」基础之异步编程》的内容,但对asyncio并没有比较系统的讲解,所以这里再次讨论一下asyncio,利用asyncio实现一个简单的协程爬虫?。
同步的爬虫
为了便于理解,这里先以不同的方式写个爬虫,为了简单起见,这里爬取一个豆瓣电影广州地区最新的电影资源?,地址为:https://movie.douban.com/cinema/later/guangzhou/。
因为访问这个界面不需要登录,所以简单几行代码即可获得其中的信息,代码如下:
import requests
from bs4 import BeautifulSoup
from utils import run_time
@run_time
def spider():
url = 'https://movie.douban.com/cinema/later/guangzhou/'
headers = {
'User-Agent': 'Mozilla/5.0 (Macintosh; Intel Mac OS X 10_13_5) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/68.0.3440.106 Safari/537.36'
}
res = requests.get(url, headers=headers).text
soup = BeautifulSoup(res, 'lxml')
all_movies = soup.find('div', id='showing-soon')
# 查找 class 名称为 item 的 div 元素
for each_movie in all_movies.find_all('div', class_='item'):
all_a_tag = each_movie.find_all('a')
all_li_tag = each_movie.find_all('li')
movie_name = all_a_tag[1].text
url_to_fetch = all_a_tag[1]['href']
movie_data = all_li_tag[0].text
res2 = requests.get(url_to_fetch).text
soup2 = BeautifulSoup(res2, 'lxml')
img_tag = soup2.find('img')['src']
print(f'电影名称: {movie_name}, 电影上映日期: {movie_data}, 缩略图: {img_tag}')
run_time 是一个装饰器?,用于打印spider()方法总共的运行时间,简单看一下spider()中的逻辑,主要就是一个for循环,循环中会获得电影名称,上映时间,缩略图url等信息?,输出如下:
python 1.py
电影名称: 隧道尽头, 电影上映日期: 07月25日,