一、安装scrapy
0.环境为:python3.5+win7或win10
1.装pip,下载地址:点击打开链接,下载完成后运行会自动下载安装
2.装lxml,下载地址: 点击打开链接,下载完成后使用以下命令安装
pip install lxml-3.6.4-cp35-cp35m-win32.whl
3. 装setuptool,下载地址: 点击打开链接,下载完成后运行会自动下载安装
4.装cryptography,直接使用pip命令安装
pip install cryptography
5.装MINGW,主要由于twisted在windows下不支持python3,步骤参考第二部分可能遇到的问题中的问题1(如果你装的时候twisted已经支持windows下python3了这步可略过)
6.重启(很重要!否则会出现各种奇奇怪怪的问题!)
7.下载scrapy1.1的zip包,下载地址为:点击打开链接
8.解压后使用cmd进入解压后的目录,运行setup.py install
二、可能遇到的问题
以下内容汇总了csdn和stackoverflow部分内容
1.Python error: Unable to find vcvarsall.bat
安装MinGW(实测)
1、下载安装MinGW,下载地址为:点击打开链接
2、在MinGW的安装目录下找到bin文件夹,找到mingw32-make.exe,复制一份更名为make.exe
3、把MinGW的路径添加到环境变量path中,比如我把MinGW安装到D:\MinGW\中,就把D:\MinGW\bin添加到path中;
4、在<python安装目录>\distutils(需要在python安装目录下ctrl+f一下distutils)增加文件distutils.cfg,在文件里输入
[build]
compiler=mingw32
保存;
2、error: command‘gcc’failed: No such file or directory
解决方案是将D:\MinGW\lib再添加到PATH中。
3、ValueError: Unknown MS Compiler version 1900
Cygwinccompiler.py中
get_msvcr()函数
在
elif msc_ver == '1600':
# VS2010 / MSVC 10.0
return ['msvcr100']
后面,添加以下内容
elif msc_ver == '1700':
# Visual Studio 2012 / Visual C++ 11.0
return ['msvcr110']
elif msc_ver == '1800':
# Visual Studio 2013 / Visual C++ 12.0
return ['msvcr120']
elif msc_ver == '1900':
# Visual Studio 2015 / Visual C++ 14.0
# "msvcr140.dll no longer exists" http://blogs.msdn.com/b/vcblog/archive/2014/06/03/visual-studio-14-ctp.aspx
return ['vcruntime140']
然后将python3.5文件夹下的vcruntime140.dll复制到D:\MinGW\mingw32\lib下
4、TypeError: unorderable types: NoneType() >= str()
重启一下试试
5、error: The 'pyasn1' distribution was not found and is required by service-identity
在运行一下setup.py试试