Python爬虫Scrapy框架学习第1课 Win10系统下scrapy安装和环境搭建

scrapy安装

scrapy在Windows系统下的安装十分繁琐，它需要提前很多依赖包，以确保这个框架的正常使用，所有必须确定每一步都是完美的，还希望大家能够坚持完成！
一共分为六步进行：
● 1、wheel
● 2、lxml
● 3、PyOpenssl
● 4、Twisted
● 5、Pywin32
● 6、Scrapy

1、wheel

wheel库的安装是为了第二步lxml库的安装，主要是为了下载.whl文件。这个步骤在我之前的博文中已经有了详细的安装步骤大家可以查看。
链接：wheel和lxml库的安装教程
简单来说就是，打开cmd，输入：pip3 install wheel，回车等待安装完成就可以啦。
在Python解释器中导入wheel库，只要不报错，就说明这一步完成了！

2、lxml

确保第一步wheel库正确安装之后，进入lxml库的安装。
之前的博文有完整的过程，链接：lxml安装教程
提供了两种方式，大家根据自己的需求，进行安装！

3、PyOpenssl

确保前两步都已经下载安装完成后，进入PyOpenssl的安装。
1）下载安装包
我们可以直接到官网进行下载。
PyOpenssl官网
PyOpenssl下载网址
2）安装
下载完成之后，复制安装包的全路径（例如我的就是：‪C:\Users\hy\Downloads\pyOpenSSL-19.0.0-py2.py3-none-any.whl）。
进入cmd，输入pip3 install ‪C:\Users\hy\Downloads\pyOpenSSL-19.0.0-py2.py3-none-any.whl(黄色高亮部分为自己下载的安装包的全地址)，然后回车等待安装完成！

3）安装过程只要不报错，安装就已经完成了

4、Twisted

前三步都完成之后，进入Twisted的安装。
1)下载安装包
Twisted安装包下载网址
点击链接进入，下拉找到twisted，下载需要的版本（我的Python是3.7版本的，电脑是64位机，所以我下载的是红方框里的这个版本）

2）安装
找到刚才下载好的安装包的全路径进入cmd，输入pip3 install ‪C:\Users\hy\Downloads\Twisted-19.2.0-cp37-cp37m-win_amd64.whl(黄色高亮部分为自己下载的安装包的全地址)，然后回车等待安装完成！
3）安装过程只要不报错，安装就已经完成了

5、Pywin32

1)下载安装包
Pywin32下载网址
Python3.7版本的下载：
pywin32-224.win-amd64-py3.7.exe
大家选择合适的版本自行安装

2）安装
打开安装包，一路next，它会自己识别到电脑的Python安装路径

3）安装过程只要不报错，安装就已经完成了

6、Scrapy

最后一步了，胜利就在眼前啦！
pip3 install scrapy
一句命令搞定

等待安装完成后在命令行输入scrapy,展示一下内容就说明安装完成了！

下面我们测试一下scrapy，
运行一下爬虫，没有问题就Ok啦！
全部的安装就已经结束啦，总结一下，就是要把每一步都做好，所欲的依赖库都要安装到位，那么后面的工作就十分轻松啦！祝大家好运，一次性配置好环境哦！

注意：所有的pip3命令都可以用pip代替，这要取决你Python解释器的版本