Spider类定义了如何爬取某个(或某些)网站。包括了爬取的动作(例如:是否跟进链接)以及如何从网页的内容中提取结构化数据(爬取item)。 也就是说我们对网页的解析需要在Spider类中定义。
Spider类的爬取方式:
①spider中初始的request是通过调用 start_requests() 来获取的。 start_requests() 读取 start_urls 中的URL, 并以 parse 为回调函数生成 Request。
②在回调函数内分析返回的(网页)内容,返回 Item 对象或者 Request 或者一个包括二者的可迭代容器。 返回的Request对象之后会经过Scrapy处理,下载相应的内容,并调用设置的callback函数(函数可相同)。
接下来要完成的是对猫眼电影TOP100的电影进行翻页提取电影名+相对地址
1.更改one_spider.py文件
class SamSpider(scrapy.Spider):
name = "sam"
start_urls = [
"https://maoyan.com/board/4"
]
url = 'https://maoyan.com/board/4'
def parse(self, response):
print('>'*50,'获取数据')
for sel in response.xpath('//*[@id="app"]/div/div/div/dl/dd'):
item = SamzhuItem()
item['name'] = sel.xpath('div/div/div[1]/p[1]/a/@title').extract()
item['url'] = sel.xpath('div/div/div[1]/p[1]/a/@href').extract()
print(item)
print('>'*50,'获取下一页请求')
a=response.css('.list-pager li:last-child a::attr(href)').extract()[0] #选择到‘下一页’的按钮
if re.search(r'offset',a,re.M|re.I)!=None:
print('换页成功')
yield scrapy.Request(self.url+a, callback=self.parse) #返回一个requset,设置callback函数为parse
print('+'*50)
else:
print('到达终点')
2.运行结果:
可以发现每次获取完一页数据后,都会DEBUG输出一条信息,代表我们发起了一个新的请求,可以看到请求的网址就是我们下一页的网址,因为我们下一页的回调函数也是本身,所以便构成了迭代效果。
小结:
上面采用了内置的scrapy.Spider,除了这个,还有CrawlSpider。
从这里开始已经可以开始感受到Scrapy的一些魅力了,能够使自己把更多的时间精力放在具体的爬虫工作上,而非逻辑搭建。