python爬虫 scrapy的安装(踩坑记录)

Scrapy安装环境必备项：python、pip工具、wheel模块、lxml模块、twisted模块、pyOpenSSL模块（需要OpenSSL）、scrapy模块。
主要是pyOpenSSL模块和twisted模块有点麻烦，其他的我好像直接install就下载成功了。所以一下只说了pyOpenSSL模块和twisted模块的安装

pyOpenSSL安装

下载地址：http://slproweb.com/products/Win32OpenSSL.html

我电脑是64位的，就下载的Win64，有EXE和MSI两种安装方式，我一开始下的MSI，但是安装出错了，就用的EXE，没什么问题。下载之后点击安装即可。

1. 安装之后，进入bin目录下，打开openssl.exe。
2. 生成RSA私钥：genrsa -out rsa_private_key.pem 1024
   该命令会生成1024位的私钥
3. 生成RSA公钥：rsa -in rsa_private_key.pem -pubout -out rsa_public_key.pem
4. pip install pyOpenSSL
5. import OpenSSL看看有没有问题
   
   

twisted安装

下载地址https://www.lfd.uci.edu/~gohlke/pythonlibs/#twisted

自己的版本自行选择

下载好后，进入下载的文件夹，然后进入cmd窗口，输入：

pip install Twisted-20.3.0-cp38-cp38-win_amd64.whl

应该是没什么问题的

scrapy安装

pip install scrapy

                

我是安装好之后再记录的，可能有什么遗漏的地方，大体差不多就这样吧