Python爬虫框架–scrapy
windows系统下scrapy开发环境的安装
1、安装—python 2.7.x
2、安装 VCforpython https://download.microsoft.com/download/7/9/6/796EF2E4-801B-4FC4-AB28-B59FBF6D907B/VCForPython27.msi
3、安装pywin32 https://jaist.dl.sourceforge.net/project/pywin32/pywin32/Build%20220/pywin32-220.win32-py2.7.exe
4、安装 cryptograph pip install cryptography
A:在安装 cryptograph的时候需要使用到openssl的文件:https://ci.cryptography.io/job/cryptography-support-jobs/job/openssl-release-1.1/ 我选择的是openssl-1.1.0f-2010-x86.zip
B:下载安装openssl后,再用pip 安装 cryptography。安装时要设置环境变量:
C:\> set LIB=C:\OpenSSL-win64\lib;%LIB%
C:\> set INCLUDE=C:\OpenSSL-win64\include;%INCLUDE%
C:\> pip install cryptography
5、安装完cryptograph后,就可以直接 pip install scrapy了。
ps:其实在windows上安装 scrapy的重点,难点就是安装 cryptography.我当时也不知道怎么突然查到,在这里记录一下,方便大家。