python框架之scrapy初入门附详细例子讲解

安装环境不多说了，要求环境有：

python

pip

 

然后直接pip3 install scrapy

一些踩的坑就不在此文详表；

 

选择器分两种，xpath和css；

粘上官网的实例代码，我加了两句：

import scrapy
  

class TestSpider(scrapy.Spider):
    name = 'test'
    #allowed_domains = ['http://quotes.toscrape.com/']
    start_urls = ['http://quotes.toscrape.com//']

    def parse(self, response):
        for quote in response.css('div.quote'):
            yield {
                'authorForCss':quote.css('small.author::text').get(),
                'author': quote.xpath('span/small/text()').get(),
                'text': quote.css('span.text::text').get(),
                'testForXpath':quote.xpath('span/text()').getall(),
            }

        next_page = response.css('li.next a::attr("href")').get()
        if next_page is not None:
            yield response.follow(next_page, self.parse)

css：这个选择器主要看标签名，类似这个要找作者名字，是在small标签里，所以只需要small.author::text   text是属性，拿里面的文档。

xpath：这个选择器主要适应多标签里的多内容，像这个作者名存在span下的small里，就可以用xpath，因为get()只会拿第一个返回；