安装环境不多说了,要求环境有:
python
pip
然后直接pip3 install scrapy
一些踩的坑就不在此文详表;
选择器分两种,xpath和css;
粘上官网的实例代码,我加了两句:
import scrapy
class TestSpider(scrapy.Spider):
name = 'test'
#allowed_domains = ['http://quotes.toscrape.com/']
start_urls = ['http://quotes.toscrape.com//']
def parse(self, response):
for quote in response.css('div.quote'):
yield {
'authorForCss':quote.css('small.author::text').get(),
'author': quote.xpath('span/small/text()').get(),
'text': quote.css('span.text::text').get(),
'testForXpath':quote.xpath('span/text()').getall(),
}
next_page = response.css('li.next a::attr("href")').get()
if next_page is not None:
yield response.follow(next_page, self.parse)
css:这个选择器主要看标签名,类似这个要找作者名字,是在small标签里,所以只需要small.author::text text是属性,拿里面的文档。
xpath:这个选择器主要适应多标签里的多内容,像这个作者名存在span下的small里,就可以用xpath,因为get()只会拿第一个返回;