Windows安装python爬虫Scrapy

在Windows上安装Scrapy比Linux或Mac OS更复杂,常常遇到各种问题。本文详细介绍了安装过程,包括下载和安装Python,配置环境变量,安装pywin32,安装pip,以及解决安装Scrapy时遇到的Microsoft Visual C++ 9.0、libxml/xpath.h头文件缺失和不支持的wheel平台问题。
摘要由CSDN通过智能技术生成

在linux或者mac os下安装Scrapy只要pip intall Scrapy命令就行了,而在windows下安装比较麻烦,而且会遇到很多问题

1.安装python

下载安装包

在官网直接点下载按钮默认会下载32位的python,所以选择安装的时候要根据自己是64位系统还是32位系统选择对应的python
windows各个版本python下载链接

  • 我这里是64位操作系统,所以选择python2.7.13版本的64位版
    这里写图片描述

安装

  • 选择install just for me(只安装给当前用户,若选择安装给所有用户,可能以后安装其他python插件的时候会出现下面问题Python version 2.7 required, which was not found in the registry,解决办法看我另一篇文章http://blog.csdn.net/u011471286/article/details/53888694)
    这里写图片描述

  • 接下来一路next到底,最后finish就行了,当然你可以再设计下python的安装目录,默认是设置在c盘根目录的

配置环境变量

运行脚本配置

如下图所示,一开始在dos命令窗口下输入python,显示python不是内部或外部命令
接着输入如下命令,前面是python.exe为位置,后面是脚本位置(看清楚自己电脑具体是什么目录),这样就添加了环境变量(只针对当前用户)
c:\python27\python.exe c:\python27\tools\scripts\win_add2path.py
这里写图片描述

这个时候环境变量还没生效,输入python还是显示不是内部或外部命令
需要退出dos命令窗口,然后打开系统环境变量配置界面,发现已经有了之前脚本配置的只正对当前用户的环境变量,一次点击下图两个确认按钮退出配置环境变量界面
这里写图片描述
这个时候环境变量已经生效,打开dos命令窗口,输入python命令之后如下图所示进入python命令行,同时显示了python版本
这里写图片描述

手动配置

手动配置就是打开上面显示的环境变量配置界面,新建一个针对本用户的环境变量,变量名为PATH,变量值为c:\python27;c:\python27\Scripts,他是python的安装目录和python中Scripts文件夹的目录,以分号隔开(这两个文件夹下是一些可执行文件,当你在dos命令窗口输入命令非系统命令是,系统就会在path设置的目录下找是否有该命令的可执行文件)
设置完确定退出。如果设置过程中dos命令窗口开着,记得重启下dos命令窗口,然后输入pyton命令就可以了

安装pywin32

下载

下载地址 https://sourceforge.net/projects/pywin32/files/pywin32/Build%20220/

我这里下载的是python27 的64位版本,大家可以根据自己系统选择对应版本
这里写图片描述

安装

一直下一步就行了,如果出现找不到python目录的错误,那应该是之前安装python的时候选择了给所有用户安装导致注册表没有信息,解决方法参考我另一篇博文

安装pip

如果你的python2版本>=2.7.9或者python3版本>=3.4,那么已经自带pip了,不需要再安装了
如果不是,按照下面链接安装
https://pip.pypa.io/en/latest/installing/

安装scrapy

在dos命令行下输入pip install Scrapy

安装问题:Microsoft Visual C== 9.0 is required

在下面链接下载安装Microsoft Visual C++ Compiler for Python 2.7,然后再次运行pip install Scrapy命令即可
http://aka.ms/vcpython27

安装问题:Cannot open include file:’libxml/xpath.h’

安装lxml库时出现这个问题,需要单独安装下这个库
首先下载对应的whl文件
我这里选择了python27 64位版本,(根据自己的python版本,操作系统版本进行选择)
http://www.lfd.uci.edu/~gohlke/pythonlibs/#lxml
这里写图片描述

如果没有安装wheel,使用pip install wheel命令吧wheel先安装上
然后cd 到whl文件的下载目录,执行pip install 文件名,这样就单独安装好了lxml库

这里写图片描述

安装问题 *.whl is not a supported wheel on this plat form

这里写图片描述
出现这个问题是因为你下载的whl版本和python版本不匹配,在dos命令窗口输入python查看python是32位还是64位,然后下载对应的whl文件再安装

在重新执行pip install Scrapy命令就能成功安装了
在dos窗口输入scrapy命令进行测试

评论
添加红包

请填写红包祝福语或标题

红包个数最小为10个

红包金额最低5元

当前余额3.43前往充值 >
需支付:10.00
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明:

1.余额是钱包充值的虚拟货币,按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载,可以购买VIP、付费专栏及课程。

余额充值