Scrapy框架详解1，爬虫0基础入门看懂无压力(有问题可私信)

简介

Scrapy是纯Python开发的一个高效,结构化的网页抓取框架；

Scrapy是一个为了爬取网站数据，提取结构性数据而编写的应用框架。 其最初是为了页面抓取 (更确切来说, 网络抓取 )所设计的，也可以应用在获取API所返回的数据(例如 Amazon Associates Web Services ) 或者通用的网络爬虫。 Scrapy用途广泛,可以用于数据挖掘、监测和自动化测试 Scrapy使用了Twisted 异步网络库来处理网络通讯。

使用原因：

1.为了更利于我们将精力集中在请求与解析上
2.企业级的要求

安装

scrapy支持Python2.7和python3.4以上版本。
python包可以用全局安装(也称为系统范围),也可以安装在用户空间中。

Windows

• 一.直接安装

  1. 在https://www.lfd.uci.edu/~gohlke/pythonlibs/ 下载对应的Twisted的版本文件
  2. 在命令行进入到Twisted的目录 执行pip install +Twisted文件名
  3. 执行pip install scrapy

• 二.annaconda 下安装

  1. 安装conda

     conda旧版本 https://docs.anaconda.com/anaconda/packages/oldpkglists/
     安装方法 https://blog.csdn.net/ychgyyn/article/details/82119201

  2. 安装scrapy conda install scrapy