python爬虫关于scrapy的安装与简述

Scrapy是一个为了爬取网站数据，提取结构性数据而编写的应用框架。 可以应用在包括数据挖掘，信息处理或存储历史数据等

scrapy的安装方式有多种，本身所需要的依赖的库也比较多，由于同众人一样用的主流3.几版本的py和windows平台，所以简介下在windows平台的安装过程

 

1.如果本身是在anaconda集成环境下可以直接运行以下命令安装Scrapy

            conda install Scrapy  即可完成安装

如果不能正确安装或者其他问题没有安装anaconda可以看下边的

2.依次安装lxml，pyOpenSSL，Twisted，pywin32，scrapy，wheel，

 

lxml：https://www.lfd.uci.edu/~gohlke/pythonlibs/#lxml    找到对应的win和python版本下载，命令 pip install 加上下载文件的路径
pyOpenSSL：https://pypi.org/project/pyOpenSSL/#downloads 找到对应的win和python版本下载，命令 pip install 加上下载文件的路径
Twisted：https://www.lfd.uci.edu/~gohlke/pythonlibs/#twisted  找到对应的win和python版本下载，命令 pip install 加上下载文件的路径
Twisted：https://sourceforge.net/projects/pywin32/files/pywin32/Build%20220/   这个下载后安装即可

wheel：直接输入  pip install whell即可安装

scrapy：同样直接输入 pip installscrapy即可安装

 

全部安装后命令提示符运行scrapy，以下就是安装好的界面。

 

 

 

 

 

 

 

 

介绍下简单的使用方法

保存，未完待续