1. 翻页的实现
上一篇实现了单页的爬取,再加3行代码就可以实现翻页了。
基本思路是查找页面中‘下一页’按钮对应的href地址,然后回调parse方法实现循环,直至找不到’下一页’的链接为止。
QiubaiSpider.py
import scrapy
import re
from scpy1.items import Scpy1Item
class Qiubai1Spider(scrapy.Spider):
name = 'qiubai1'
allowed_domains = ['qiushibaike.com'