scrapy笔记

##自学视频中的学习笔记记录##持续更新学习进度##

 

#Scrapy笔记

##安装scrapy框架

1、安装 scrapy：通过pip install scrapy 即可安装

2】如果是再windows 下，还需要安装pypiwin32，如果不安装，后面运行scrapy项目的时候就会出现报错：pip install pypiwin32

3、如果是再ubuntu 系统下，还需要安装一下第三方库，sudo apt-get install python-dev python-pip libxml2-dev libxslt1-dev zlib1g-dev libffi-devlibssl-dev

创建项目和爬虫

1、创建项目：scarpy startproject 【爬虫名字】

2、创建爬虫：进入到项目所在的路径，执行命令：scarpy genspider 【爬虫名字】【爬虫的域名】。注意爬虫名字不能和爬虫项目一致。
#如果出现以下错误提示，根据提示，进入"d:\software\anconda3\lib\configparser.py"，把方法里面的 lineno 【with open(filename, encoding='utf-8') as fp:】

把编码方式改成encoding=‘utf-8’即可。

  File "d:\software\anconda3\lib\configparser.py", line 696, in read
    self._read(fp, filename)
  File "d:\software\anconda3\lib\configparser.py", line 1014, in _read
    for lineno, line in enumerate(fp, start=1):
UnicodeDecodeError: 'gbk' codec can't decode byte 0xaa in position 189: illegal multibyte sequence

   项目目录结构

   1、items.py：用来存放爬虫爬取下来的数据模型。

   2、middlewares.py：用来存放各种中间件的文件。

   3、pipelines.py:用来将items的模型存储到本地磁盘中。

   4、settings.py:本爬虫的一些配置信息（比如请求头头、多久发送一次请求、ip代理池等）。

   5、scrapy.cfg:项目的配置信息。

   6、spider包：以后所有的爬虫，都是存放再这个里面。

CrawlSpider

Crawlspider 是scrapy 中很强大的一个类；crawlspider 继承spider，只不过是在之前的基础上增加了新饿功能，可以定义爬取的url的规则，以后scrapy碰到满足条件的url都进行爬取，不许要手动yield Request。

创建crawlspider命令：scrapy genspider -t crawl 【爬虫名称】 【域名】          ###    -t  代表的是模板

LinkExtractors  主要参数：

allow：允许的url。所有满足这个正则表达式的url都会被提取。

deny：禁止的url。所有满足这个正则表达式的url都不会被提取。

allow_domains：允许的域名。只有在这个里面制定的域名的url才会被提取。

deny_domains：禁止的域名，只有在这个里面指定的域名的url才会被提取。

restrict_xpaths：严格的xpath。和allow共同过滤的链接。

Rule规则类主要参数：

link_extractor：一个LinkExtractor对象，用于定义爬出规则。

callback：满足这个规则的url，应该要执行那个回调函数。因为Crawlspider使用了parse左右回调函数，因此不要覆盖parse作为回电函数自己的回调函数。

follow：指定根据该规则从response中提取的链接是否需要跟进。如果callback=none，则follow=Ture。

process_links：从link_extractor中回去到链接后会传递给这个函数，用力啊过来不需要爬取的链接。