python爬虫 scrapy框架

scrapy框架

scrapy是一个为了爬取网站数据，提取结构性数据而编写的应用框架。它使用，Twisted这个异步网络库来处理网络通信，架构清晰，并且包含了各种中间件接口，可以灵活的完成各种需求。

scrapy原理

1. scrapy组件

• 引擎(Engine)：用于处理整个系统的数据流，触发事件。
• 调度器(Scheduler)：用来接受引擎发过来的请求，并压入队列中，当引擎再次请求的时候返回。相当于一个URL的优先队列。由它来决定下一个要抓取的网址是什么，同时去除重复的网址。
• 下载器(Downloader)：用于下载网页内容，并将网页内容返回给蜘蛛scrapy。
• 爬虫(Spiders)：用于从特定的网页中提取自己需要的信息，即所谓的实体。用户也可以从中提取出链接，让scrapy继续爬取下一个页面。
• 项目管道(Pipeline):处理爬虫从网页中提取的实体，主要功能是1)持久化实体；2)验证实体的有效性；3)清除不需要的信息。页面被爬虫解析后，将被发送到项目管道，并经过几个特定的次数处理数据。
• 下载器中间件(Downloader Middlewares)：位于引擎和下载器之间的框架，用于处理引擎和下载器之间的请求和响应。
• 爬虫中间件(Spider Middlewares)：介于引擎和Spider之间的框架，主要工作是处理Spider的响应输入和请求输出。
• 调度中间件(Scheduler Middlewares)：介于引擎和调度中间的中间件，从引擎发送到调度的请求响应。

2. 运行流程

• 引擎从调度器取出一个链接(URL)用于接下来的抓取；
• 引擎把URL封装成一个请求(Request)传给下载器；
• 下载器吧资源下载下来，并封装成应答包(Response)；
• 爬虫解析Response；
• 解析出实体，并交给实体管道进行进一步处理；
• 解析出的是链接(URL)，这把URL交给调度器等待爬取；

3. 创建项目

1). Windows：打开cmd，进入要创建项目的目录，使用以下命令：scrapy startproject 项目名

2). 创建爬虫： scrapy genspider 爬虫名 网站域名。要在创建的项目的目录下运行，创建完成后，文件在\weiboSpider\weiboSpider\spiders目录下(weiboSpider是项目名)。

注意： 爬虫名不能和项目名相同；网站域名是允许爬虫采集的域名。

# weibo.py
# 导入scrapy
import scrapy

# 创建爬虫类，并且继承scrapy。Spider
class WeiboSpider(scrapy.Spider):
    name = 'weibo'      # 爬虫名字，必须唯一  
    allowed_domains = ['m.weibo.cn']        # 允许采集域名
    start_urls = ['http://m.weibo.cn/']     # 开始采集的网站
    
    # 解析响应数据，提取数据或者网址等；
    # response：网页源码
    def parse(self, response):
        pass

注： 如果使用POST提交方法，start_urls = ['http://m.weibo.cn/']可以不写，但是要重写start_requests()方法。例如：

    def start_requests(self):
        # 重新指定url
        url = "...."
        # 请求的参数
        data = {"k1":"v1", "k2": "v2"}
        yield scrapy.FormRequest(
            url=url,
            formdata=data,
            callback=self.parse     # callback是回调函数，当请求的数据返回时，交给当前类下的parse()函数处理
        )

3）文件目录

weibo.py就是创建的爬虫，这里主要是解析网页

items.py主要用于处理数据

4. Selector选择器

• scrapy提供了自己的数据解析方法，即Selector选择器；
• Selector选择器是基于lxml来构建的，支持xpath、CSS选择器以及正则表达式，功能全面，解析速度和准确度非常高。

（1）直接使用