win10系统python3.5安装scrapy

最新推荐文章于 2024-02-03 05:16:23 发布

Rose33

最新推荐文章于 2024-02-03 05:16:23 发布

阅读量367

点赞数

分类专栏： python 文章标签： python scrapy 安装

本文链接：https://blog.csdn.net/abc123456789abca/article/details/78616757

版权

3 篇文章 0 订阅

订阅专栏

最近在学习scrapy框架，在安装的过程中就遇到了很多坑，主要是Twisted和pip升级的问题。

先测试pip是否安装好：
pip -h
如果显示为pip的一些指令提示和版本号就说明已经安装成功。
下载安装Twisted和lxml等第三方包：
http://www.lfd.uci.edu/~gohlke/pythonlibs/#twisted
先在该网址上下载Twisted.whl 和 lxml.whl （这里需要注意版本：Twisted-17.9.0-cp35-cp35m-win_amd64.whl ; cp35对应的是python3.5版本的，win_amd64／win32 对应的是系统版本，lxml 同Twisted。）

首先安装wheel，cmd运行：
```
pip install wheel
```
然后cmd进入wisted.whl 和 lxml.whl 下载文件相应的文件夹，运行：
```
pip install Twisted-xxx.whl(下载的文件全名)
pip install lxml-xxx.whl（同上）
```
常见问题：xxx is not a supported wheel on thie platform.如果出现这个问题即响应的python版本和系统版本无法对应，重新下载相应文件即可。
安装scrapy：
pip install scrapy
常见问题：unable to find vcvarsall.bat。如果遇到这个问题，可以安装对应的visual studio 解决，首先在python安装目录（例如：python装在E盘即E:/Python35/Lib/distutils/msvc9compiler.py）下找到这个msvc9compiler.py文件，打开找到 vc_env = query_vcvarsall(VERSION, plat_spec)这句话，修改VERSION为相应visual studio的版本号。（如：vc_env = query_vcvarsall(13.0, plat_spec)）。并且安装相应visual studio即可。

4. 安装好啦，就可以学习scrapy了。
（附官方手册0.25: http://scrapy-chs.readthedocs.io/zh_CN/latest）

ps: 如果电脑上使用了Fiddler，要先fiddler的connections取消。

关注