Scrapy简介
Scrapy是一种用于抓取网站和提取结构化数据的应用程序框架,可用于广泛的有用应用程序,如数据挖掘,信息处理或历史存档。
尽管Scrapy最初是为网络抓取而设计的,但它也可以用于使用API(例如Amazon Associates Web Services)或作为通用网络爬虫来提取数据。
漫画示例蜘蛛
这是一个蜘蛛的代码示例,它在网页http://quotes.toscrape.com上删除着名的引号 :
import scrapy
class QuotesSpider(scrapy.Spider):
name = 'quotes'
start_urls = [
'http://quotes.toscrape.com/tag/humor/',
]
def parse(self, response):
for quote in response.css('div.quote'):
yield {
'text': quote.css('span.text::text').get(),
'author': quote.xpath('span/small/text()').get(),
}
next_page = response.css('li.next a::attr("href")').get()
if next_page is not None:
yield response.follow(next_page, self.parse)
将它放在一个文本文件