【Python爬虫】Python爬虫框架——Scrapy

Scrapy框架

一、Scrapy是什么？

An open source and collaborative framework for extracting the data you need from websites.
开源的爬虫框架
In a fast, simple, yet extensible way.
快速、简单、高效的方式

二、安装部署

If you’re using Anaconda or Miniconda, you can install the package from the conda-forge channel, which has up-to-date packages for Linux, Windows and macOS.
如果您使用的是Anaconda或Miniconda ，您可以从 conda - forge 频道安装该软件包，该频道包含适用于 Linux、Windows 和 macOS 的最新软件包。

To install Scrapy using conda, run:
要使用 安装 Scrapy conda，请运行：

conda install -c conda-forge scrapy

Alternatively, if you’re already familiar with installation of Python packages, you can install Scrapy and its dependencies from PyPI with:
或者，如果您已经熟悉 Python 包的安装，您可以从 PyPI 安装 Scrapy 及其依赖项：

在安装之前进行pip 升级，使用清华源安装

python -m pip install --upgrade pip -i https://pypi.douban.com/simple

pip install -i https://pypi.tuna.tsinghua.edu.cn/simple scrapy

We strongly recommend that you install Scrapy in a dedicated virtualenv, to avoid conflicting with your system packages.
我们强烈建议您将 Scrapy 安装在专用的 virtualenv中，以避免与您的系统包冲突。

---

三、基本使用

1.创建一个项目

scrapy startproject test_scrapy

项目目录：

1. scrapy.cfg 【项目的配置文件】
2. settings.py 【项目的配置文件】
3. spiders/ 【防止 爬虫代码的目录】

2.编写爬虫代码

创建一个爬虫代码

scrapy genspider [options] <name> <domain>

Eg：scrapy genspider python01 www.xxx.com

注意事项

name:
1.不能重复
2.爬虫文件的名字
‘’’
name = ‘python01’
‘’’
scrapy 允许爬取的 url
‘’’
allowed_domains = [‘www.baidu.com’]
‘’’
scrapy 去爬取的 url 列表
‘’’
start_urls = [‘http://www.baidu.com/’,‘https://www.sougou.com’]

3.启动爬虫项目

启动命令

scrapy runspider [options] <spider_file>

scrapy runspider./test_scrapy/spiders/python01.py

scrapy crawl python01

scrapy crawl python01 --nolog 【使用命令 不显示日志信息】

数据解析

1. 标签定位：
   返回 selector(xpath,data[xpath表达式 结果])
2. 数据解析
   返回 selector(xpath,data[xpath表达式 结果])
3. 取值
   - .get()
   - .getall()

存储数据【持久化数据】

scrapy crawl python01 -o ./filename.json/csv 【不支持txt格式】

总结

若仍有问题存在可访问官方文档：https://docs.scrapy.org/en/latest/intro/tutorial.html