Crawler之Scrapy：Scrapy的简介、安装、使用方法之详细攻略

Crawler之Scrapy：Scrapy的简介、安装、使用方法之详细攻略

目录

Scrapy的简介

Scrapy的安装

1、成功解决Failed building wheel for Twisted问题

(1)、下载对应版本的Twisted

(2)、安装whl文件

2、成功解决error: Microsoft Visual C++ 14.0 is required. Get it with "Microsoft Visual C++ Build Tools": http://landinghub.visualstudio.com/visual-cpp-build-tools问题

3、最后测试一下，是否安装成功

Scrapy的使用方法

---

Scrapy的简介

    Scrap是碎片、小块的意思，Scrapy是Python开发的一个快速、高层次的屏幕抓取和web抓取框架，用于抓取web站点并从页面中提取结构化的数据。Scrapy用途广泛，可以用于数据挖掘、监测和自动化测试。 Scrapy吸引人的地方在于它是一个框架，任何人都可以根据需求方便的修改。它也提供了多种类型爬虫的基类，如BaseSpider、sitemap爬虫等，最新版本又提供了web2.0爬虫的支持。

Scrapy的安装

pip install Scrapy

如果安装中出现错误，请根据下边的几个错误，分别进行处理，最后测试成功即可！

1、成功解决Failed building wheel for Twisted问题

(1)、下载对应版本的Twisted

然后去这个网址https://www.lfd.uci.edu/~gohlke/pythonlibs/，下载与你python版本，相应的Twisted版本

(2)、安装whl文件

2、成功解决error: Microsoft Visual C++ 14.0 is required. Get it with "Microsoft Visual C++ Build Tools": http://landinghub.visualstudio.com/visual-cpp-build-tools问题

Command ""f:\program files\python\python36\python.exe" -u -c "import setuptools, tokenize;__file__='C:\\Users\\99386\\AppData\\Local\\Temp\\pip-build-w06f16db\\Twisted\\setup.py';f=getattr(tokenize, 'open', open)(__file__);code=f.read().replace('\r\n', '\n');f.close();exec(compile(code, __file__, 'exec'))" install --record C:\Users\99386\AppData\Local\Temp\pip-6otgh__e-record\install-record.txt --single-version-externally-managed --compile" failed with error code 1 in C:\Users\99386\AppData\Local\Temp\pip-build-w06f16db\Twisted\

3、最后测试一下，是否安装成功

哈哈，大功告成！

 python2.版本安装：Python 2.7安装scrapy指南

Scrapy的使用方法

Crawler之Scrapy：基于scrapy框架实现完整爬取网页内容信息(爬取网站四大步骤)之详细攻略_一个处女座的程序猿的博客-CSDN博客

Crawler之Scrapy：基于scrapy框架实现爬虫两个网址下载网页内容信息之详细攻略_一个处女座的程序猿的博客-CSDN博客