如何安装Scrapy爬虫框架-详细讲解

一 :windows下安装Scrapy爬虫框架
废话不多说直接上教程
1，打开终端，在编辑器的终端和window下的也行输入命令
pip install Scrapy
2,大部分情况下第一步总会出现错误，因为我们pip安装的scrapy依赖是从python官方包里下载的，而有一些包是第三方的，需要我们来自己手动
来安装
3，例如有一个重要的包twisted你就得从网站上找到安装文件来安装
twisted是一个异步网络框架，是scapy的重要组成部分，好了
去网站下载安装文件地址：好多python第三方扩展包都有

4，下载Twisted-20.3.0-cp38-cp38-win_amd64.whl文件其中cp后面的数字
代表你的python版本，amd64代表操作系统的位数，下载对应的版本
5，将下载好的文件放到指定位置如我放在了 E:\Twisted-20.3.0-cp38-cp38-win_amd64.whl e盘里
6，安装：pip install E:\Twisted-20.3.0-cp38-cp38-win_amd64.whl在你指定的文件位置安装
7，在使用pip install Scapy安装，同理如果出现了错误，在终端看红色
字体出现的提示，它会告诉你缺少什么包和依赖，你就先将缺少的东西先安装好能使用pip安装的使用pip安装，不能安装的就去我给的上面的网站下载相应的文件安装。
8，总结，安装过程如下99%可以适用：
（1）pip install pyasn1 可直接pip 安装，这是一个作为Python包的ASN.1类型和编解码器的免费开源实现。它最初是为了支持特定的协议(SNMP)而编写的，但后来被推广为适用于基于ASN.1规范的各种协议。
(2) 安装twisted
(3)安装pywin32-300-cp38-cp38-win_amd64.whl和twisted操作一样
它直接包装了几乎所有的Windows API，可以方便地从Python直接调用，该模块另一大主要功能是通过Python进行COM编程
(4)pip install scrapy 完成
9，验证安装成功
打开终端输入python
输入如import scrapy如果没有显示错误就成功了
10，开始项目scarpy startproject spider E:
spider为爬虫名 后面你可以指定项目的位置
11，使用编译器导入文件的位置编写项目