【Python】Scrapy 爬虫（简单了解）

Scrapy项目开发流程

1.创建项目

打开cmd

scrapy startproject example

就可以创建一个Scrapy项目。这时，我们找到并打开这个文件。

复制路径：C:\Users\25194\example

复制到pycharm里面，打开该项目。

文件介绍

 

 

scrapy.cfg

setting表明项目配置的详细文件，指定具体哪个文件涉及scrapy文件的配置。

deploy（部署）应用于scrapy项目部署。

spiders

spiders目录主要用于存放爬虫

items.py

里面是一个类，这个类主要用于定义数据存储模型，实例化把数据存到对象中。

middlewares.py

用于编写中间件，下载器中间件和爬虫中间件都在这个文件中编写。如果没有特殊需求，一般不需要写，需要定制化的时候才写。

pipelines.py

主要用于编写数据处理步骤，通常在这个文件中可以实现对数据的清洗、保存等相关操作。

2.实现spider

在Scrapy中编写一个爬虫，即实现一个srapy.Spider的子类。

实现爬虫的Python文件应位于example/spiders目录下，在该目录下创建新文件book_spider.py。然后在这个文件中实现BookSpider。

import scrapy

class BookSpider(scrapy.Spider):
    name="books"#爬虫的唯一标识

    start_urls={"https://books.toscrape.com/"}#起始点可以有多个

    def parse(self,response):
        #提取数据
        #每本书的信息在<article class="product_pod">中
        #css()方法找到所有这样的article元素，依次迭代
        for book in response.css('article.product_pod'):
            name=book.xpath('./h3/a/@title').extract_first()

            price = book.css( 'p.price_color::text' ).extract_first()
            yield {
                'name': name,
                'price': price,
            }

        #提取链接
        next_url=response.css('ul.pager li.next a::attr(href)').extract_first()

        if next_url:
            next_url=response.urljoin(next_url)
            yield scrapy.Request(next_url,callback=self.parse)

代码解释：

        name属性：一个Scrapy项目中可能有多个爬虫，每个爬虫的name是其自身的唯一标识，在一个项目中不能有重名的爬虫。

        start_urls属性：一个爬虫总要从某些页面开始爬取，我们称这样的页面为起始爬取点，start_urls属性用来设置一个爬虫的起始爬取点。

        parse方法：当一个页面下载完成后，Srapy引擎会回调一个我们指定的页面的解析函数（默认为parse方法）解析页面。一个页面解析函数通常需要完成两个任务：

        1）提取页面中数据（使用xpath或css选择器）

        2）提取页面中的链接，并产生对链接页面的下载请求。

        页面解析函数通常被实现成一个生成器函数，每一项从页面提取的数据以及每一个对链接页面的下载请求都由yield语句提交给Scrapy引擎。

3.运行爬虫

scrapy crawl books -o books.csv

在cmd里运行爬虫books并将爬取到的数据存到csv文件中。

这里还需要注意的是，爬虫的时候不能打开文件，否则会出现permission denied。 

要cd到当前目录下然后再执行。 

爬取完成之后，该目录下就会多出一个csv文件存放爬取结果。