scrapy框架学习（三）Spiders

Spider类定义了如何爬取某个(或某些)网站。包括了爬取的动作(例如:是否跟进链接)以及如何从网页的内容中提取结构化数据(爬取item)。 也就是说我们对网页的解析需要在Spider类中定义。

---

Spider类的爬取方式：

①spider中初始的request是通过调用 start_requests() 来获取的。 start_requests() 读取 start_urls 中的URL， 并以 parse 为回调函数生成 Request。

②在回调函数内分析返回的(网页)内容，返回 Item 对象或者 Request 或者一个包括二者的可迭代容器。 返回的Request对象之后会经过Scrapy处理，下载相应的内容，并调用设置的callback函数(函数可相同)。

---

接下来要完成的是对猫眼电影TOP100的电影进行翻页提取电影名+相对地址

1.更改one_spider.py文件

class SamSpider(scrapy.Spider):
    name = "sam"
    start_urls = [
        "https://maoyan.com/board/4"
    ]
    url = 'https://maoyan.com/board/4'
    def parse(self, response):
        print('>'*50,'获取数据')
        for sel in response.xpath('//*[@id="app"]/div/div/div/dl/dd'):
            item = SamzhuItem()
            item['name'] = sel.xpath('div/div/div[1]/p[1]/a/@title').extract()
            item['url'] = sel.xpath('div/div/div[1]/p[1]/a/@href').extract()
            print(item)
            
        print('>'*50,'获取下一页请求')
        a=response.css('.list-pager li:last-child a::attr(href)').extract()[0]  #选择到‘下一页’的按钮
        if re.search(r'offset',a,re.M|re.I)!=None:
            print('换页成功')
            yield scrapy.Request(self.url+a, callback=self.parse)   #返回一个requset，设置callback函数为parse
            print('+'*50)
        else:
            print('到达终点')

2.运行结果：

可以发现每次获取完一页数据后，都会DEBUG输出一条信息，代表我们发起了一个新的请求，可以看到请求的网址就是我们下一页的网址，因为我们下一页的回调函数也是本身，所以便构成了迭代效果。

 

---

小结：

上面采用了内置的scrapy.Spider，除了这个，还有CrawlSpider。

从这里开始已经可以开始感受到Scrapy的一些魅力了，能够使自己把更多的时间精力放在具体的爬虫工作上，而非逻辑搭建。