A.分析页面打开http://books.toscrape.com网页，按F12审查元素。
1.数据信息
1.1 每一本书的信息包裹在<article class="product_pod">文章类=产品舱。<body id='default'
div class
1.2 其中书名信息在其下<h3 > a元素的title 属性中，如<a href="catalogue/a-light-in-the- attic_1000/index.html"title="A Light in the Attic">A Light in the...</a>；
1.3 书价信息在其下<p class="price_color">元素的文本 中，如<p class="price_color">£51.77</p>。
2.链接信息
2.1可以发现，下一页的URL在ul.pager > li.next > a元素的href 20
属性中，是一个相对URL地址，如<li class="next"><a href="catalogue/page-2.html">next</a></li>。
# -*- coding: utf-8 -*-
import scrapy
class BooksSpider(scrapy.Spider):
# 每一个爬虫的唯一标识
name = "books"
#定义爬虫爬取的起始点，起始点可以是多个，这里只有一个
start_urls =['http://books.toscrape.com/']
def parse(self, response):
# 提取数据
# 每一本书的信息在<article class="product_pod">中，我们使用
# css()方法找到所有这样的article 元素，并依次迭代
for book in response.css('article.product_pod'):
# 书名信息在article > h3 > a 元素的title属性里
#例如: <a title="A Light in the Attic">A Light in the ...</a>
name = book.xpath('./h3/a/@title').extract_first()
# 书价信息在 <p class="price_color">的TEXT中。
# 例如: <p class="price_color">￡51.77</p>
price = book.css('p.price_color::text').extract_first()
yield {
'name': name,
'price': price,
}
# 提取链接
# 下一页的url 在ul.pager > li.next > a 里面
# 例如: <li class="next"><a href="catalogue/page-2.html">next
next_url = response.css('ul.pager li.next a::attr(href)').extract_first()
if next_url:
# 如果找到下一页的URL，得到绝对路径，构造新的Request
next_url = response.urljoin(next_url)
yield scrapy.Request(next_url, callback=self.parse)
name属性，一个项目中不能有同名的爬虫，本例中爬虫取名为‘books’
start_url属性，设置一个爬虫的起始爬取点。在本例中，只有一个http://books.toscrape.com/
parse方法，当一个页面下载完成后，Scrapy引擎会回调一个我们指定的页面解析函数（默认为parse方法）解析页面。一个页面解析函数通常需要完成两个任务：
·提取页面中的数据（使用XPath或CSS选择器）
·提取页面中的链接，并产生对链接页面的下载请求
页面解析函数通常被实现成一个生成器函数，每一项从页面中提取的数据以及每一个对链接页面的下载请求都由yeild语句提交给Scrapy引擎
3309
被折叠的 条评论
为什么被折叠?
到【灌水乐园】发言
