python3爬虫学习scrapy入门

scrapy介绍

• Scrapy Engine(引擎): 负责Spider、ItemPipeline、Downloader、Scheduler中间的通讯，信号、数据传递等。
• Scheduler(调度器): 它负责接受引擎发送过来的Request请求，并按照一定的方式进行整理排列，入队，当引擎需要时，交还给引擎。
• Downloader（下载器）：负责下载Scrapy Engine(引擎)发送的所有Requests请求，并将其获取到的Responses交还给Scrapy Engine(引擎)，由引擎交给Spider来处理，
• Spider（爬虫）：它负责处理所有Responses,从中分析提取数据，获取Item字段需要的数据，并将需要跟进的URL提交给引擎，再次进入Scheduler(调度器).
• Item Pipeline(管道)：它负责处理Spider中获取到的Item，并进行进行后期处理（详细分析、过滤、存储等）的地方。
• Downloader Middlewares（下载中间件）：你可以当作是一个可以自定义扩展下载功能的组件。
• Spider Middlewares（Spider中间件）：你可以理解为是一个可以自定扩展和操作引擎和Spider中间通信的功能组件（比如进入Spider的Responses;和从Spider出去的Requests）

Scrapy的运作流程

代码写好，程序开始运行…

• 1 引擎：Hi！Spider, 你要处理哪一个网站？
• 2 Spider：老大要我处理xxxx.com。
• 3 引擎：你把第一个需要处理的URL给我吧。
• 4 Spider：给你，第一个URL是xxxxxxx.com。
• 5 引擎：Hi！调度器，我这有request请求你帮我排序入队一下。
• 6 调度器：好的，正在处理你等一下。
• 7 引擎：Hi！调度器，把你处理好的request请求给我。
• 8 调度器：给你，这是我处理好的request
• 9 引擎：Hi！下载器，你按照老大的下载中间件的设置帮我下载一下这个request请求
• 10 下载器：好的！给你，这是下载好的东西。（如果失败：sorry，这个request下载失败了。然后引擎告诉调度器，这个request下载失败了，你记录一下，我们待会儿再下载）
• 11 引擎：Hi！Spider，这是下载好的东西，并且已经按照老大的下载中间件处理过了，你自己处理一下（注意！这儿responses默认是交给def parse()这个函数处理的）
• 12 Spider：（处理完毕数据之后对于需要跟进的URL），Hi！引擎，我这里有两个结果，这个是我需要跟进的URL，还有这个是我获取到的Item数据。
• 13 引擎：Hi ！管道 我这儿有个item你帮我处理一下！调度器！这是需要跟进URL你帮我处理下。然后从第四步开始循环，直到获取完老大需要全部信息。
• 14 管道调度器：好的，现在就做！

注意！只有当调度器中不存在任何request了，整个程序才会停止，（也就是说，对于下载失败的URL，Scrapy也会重新下载。）

制作 Scrapy 爬虫 一共需要4步

1. 新建项目 (scrapy startproject xxx)：新建一个新的爬虫项目
2. 明确目标 （编写items.py）：明确你想要抓取的目标
3. 制作爬虫 （spiders/xxspider.py）：制作爬虫开始爬取网页
4. 存储内容 （pipelines.py）：设计管道存储爬取内容

安装

这里我们用conda 命令来安装 。你可以安装anaconda，里面包含了conda 。

conda install scrapy

scrapy入门

#在开始爬取之前，我们首先要创建一个scrapy项目，在命令行输入一下命令即可创建
#创建项目
scrapy startproject xicidaili
cd xicidaili
#创建爬虫
scrapy genspider scrapy001 xicidaili.com

创建成功

Created spider 'scrapy001' using template 'basic' in module:
  xicidaili.spiders.scrapy001

编写爬虫

# -*- coding: utf-8 -*-
import scrapy

# 创建爬虫类 并且继承自scrapy.Spider --> 最基础的类，另外几个类都是继承自这个类
class Scrapy001Spider(scrapy.Spider):
    name = 'scrapy001'# 爬虫名字 -->必须唯一
    allowed_domains = ['xicidaili.com']
    #start_urls = [f'https://www.xicidaili.com/nt/{page}' for page in range(1,2)]
    start_urls = ['https://www.xicidaili.com/nt/7']


    # 解析响应 提取数据 或者网址等 response 就是网页源码
    def parse(self, response):

        # 提取数据

        # 提取IP PORT
        selectors = response.xpath('//tr') # 选择所有的tr标签
        for selector in selectors:
            ip = selector.xpath('./td[2]/text()').get()
            port = selector.xpath('./td[3]/text()').get()
            print(ip,port)

        # 翻页操作
        next_page = response.xpath('//a[@class="next_page"]/@href').get()
        if next_page:
            print(next_page)
            # 除零报错，防止爬太多被封
            bb = '/nt/10'
            if bb == next_page:
                bbErr = 10*(1/0)
                print(bbErr)
            #拼接网址
            next_url = response.urljoin(next_page)
            # 发出请求 Request callback 是回调函数 就是将请求得到的响应交给自己处理
            yield scrapy.Request(next_url,callback=self.parse) # 生成器
        pass

运行爬虫

进入xicidaili项目

scrapy crawl scrapy001

Scrapy 常用命令

Scrapy 1.6.0 - project: xicidaili

Usage:
  scrapy <command> [options] [args]

Available commands:
  bench         Run quick benchmark test
  check         Check spider contracts
  crawl         Run a spider
  edit          Edit spider
  fetch         Fetch a URL using the Scrapy downloader
  genspider     Generate new spider using pre-defined templates
  list          List available spiders
  parse         Parse URL (using its spider) and print the results
  runspider     Run a self-contained spider (without creating a project)
  settings      Get settings values
  shell         Interactive scraping console
  startproject  Create new project
  version       Print Scrapy version
  view          Open URL in browser, as seen by Scrapy

Use "scrapy <command> -h" to see more info about a command

注意，你创建爬虫项目后，运行scrapy项目才有 crawl等命令。

参考资料

Python爬虫框架Scrapy入门, 学会可以直接无视80%的网站！